JP6893237B2 - データストリーミングの前方誤り訂正 - Google Patents
データストリーミングの前方誤り訂正 Download PDFInfo
- Publication number
- JP6893237B2 JP6893237B2 JP2019504922A JP2019504922A JP6893237B2 JP 6893237 B2 JP6893237 B2 JP 6893237B2 JP 2019504922 A JP2019504922 A JP 2019504922A JP 2019504922 A JP2019504922 A JP 2019504922A JP 6893237 B2 JP6893237 B2 JP 6893237B2
- Authority
- JP
- Japan
- Prior art keywords
- frames
- channel
- coded
- frame
- information corresponding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims description 57
- 238000000034 method Methods 0.000 claims description 100
- 230000005540 biological transmission Effects 0.000 claims description 20
- 230000000694 effects Effects 0.000 claims description 18
- 230000001568 sexual effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 13
- 238000012546 transfer Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013502 data validation Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0041—Arrangements at the transmitter end
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0002—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0045—Arrangements at the receiver end
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0056—Systems characterized by the type of code used
- H04L1/0057—Block codes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/08—Arrangements for detecting or preventing errors in the information received by repeating transmission, e.g. Verdan system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/33—Flow control; Congestion control using forward notification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/34—Flow control; Congestion control ensuring sequence integrity, e.g. using sequence numbers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Security & Cryptography (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Description
本特許請求は、2016年8月1日に出願された米国特許出願第15/235,508の優先権の利益を主張し、当開示全体は、参照により本明細書に組み込まれるものとする。
本開示の態様は、特別にパッケージ化されたソースフレーム及びFEC履歴フレームを使用して、バースト性パケット損失を補償することに関し、これはUDPなどの低信頼トランスポートプロトコルと共に使用され得る。特に、WIFI接続はパケット損失のバーストに対して脆弱である。所定の現フレームに対して、前フレームは、より低いビットレートで第2の別個のコーデックにより符号化され、現フレームと共に送信される。これらの前フレームは、FECフレームと称される。FECフレームに対し低いビットレートを使用することで、パケットを送信するための追加帯域幅要件が軽減される。ソースフレームが失われた場合、FECフレームを使用して、ソースフレームが再構築される。再構築または復号化されたFECフレームはソースフレームよりも低い解像度を有し得るが、再構築の必要性が断続的である場合(例えば音声の事例で、50ミリ秒未満の間隔での中断)、ソースフレームのビットレートと再構築フレームのビットレートの差異は、人間の知覚の閾値未満である。従って、FECフレームが、全体的な知覚品質を低下させることはない。知覚される音声品質または帯域幅要件を変えるために、各UDPパケット共に送信されるFECフレームの数及びビットレートを調整することができる。UDPパケットヘッダは、ソースフレームのビットレート及びシーケンスID、並びにFECフレームのビットレート及びIDについての関連情報を含み得る。
ここで図1を参照すると、本開示の特定の態様による、データ転送及び前方誤り訂正(FEC)技術の説明的実施例が示される。図1の実施例では、1つ以上の送信者デバイス102は、ネットワーク106を介して1つ以上の受信者デバイス104へデータを送信することができ、データは、複数のデータパケット108の形態で送信され得る。データパケット108は、UDPなどの低信頼プロトコルを使用して送信されるデータグラムであり得、各パケット108の配信もパケット108の順番通りの配信も、プロトコルにより保証されていない。従って、パケット損失のイベント時、送信者デバイス102は失われたパケットを再送せず、むしろ受信者デバイス104が、使用される特定のFEC技術によりデータストリーム内に符号化された冗長性を使用して、失われたソースデータを再構築するように試み得る。
左チャネル=FL+s*(SL+SR)+c*C+c*LFE 及び
右チャネル=FR−s*(SL+SR)+c*C+c*LFE であり、
s=0.5〜1.0
c=0.707
FL/FR=フロント左/右チャネル
SL/SR=サラウンド左/右チャネル
C=センターチャネル
L=重低音効果チャネル である。
C=c*(Lt+Rt)
L=c*(Lt+Rt)及びローパスフィルターを適用
SL=s*(LT−Rt)、時間遅延及び+90度の位相変位
SR=s*(LT−Rt)、時間遅延及び−90度の位相変位
s=0.5〜1.0
c=0.707
FL=Lt−s*(SL+SR)−c*C−c*L
FR=Rt+s*(SL+SR)−c*C−c*L
s=0.5〜1.0
c=0.707
C=c*(Lt+Rt)
L=c*(Lt+Rt)及びローパスフィルターを適用
SL=s*(LT−Rt)、時間遅延及び+90度の位相変位
SR=s*(LT−Rt)、時間遅延及び−90度の位相変位
s=0.5〜1.0
c=0.707
FL=Lt
FR=Rt
C=c*(Lt+Rt)
L=c*(Lt+Rt)及びローパスフィルターを適用
SL=s*(LT−Rt)、時間遅延及び+90度の位相変位
SR=s*(LT−Rt)、時間遅延及び−90度の位相変位
s=0.5〜1.0
c=0.707
Claims (52)
- 前方誤り訂正(FEC)によりフレームを符号化し送信する方法であって、
シーケンス内の現フレーム及び前記シーケンス内の1つ以上の前フレームを含む複数の未符号化フレームを受信または生成することと、
前記現フレームを第1のビットレートで符号化して、1つ以上の符号化ソースフレームを生成することと、
前記1つ以上の前フレームを、前記第1のビットレート以下の第2のビットレートで符号化して、1つ以上の符号化FECフレームを生成することと、
前記1つ以上の符号化ソースフレームの内の一つの符号化ソースフレームに対する情報の一部を前記1つ以上の符号化FECフレームとともに第1のパケットに入れ、前記一つの符号化ソースフレームに対する情報の残りを第2のパケットに入れることにより、前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームを、1つ以上のデータパケットにパケット化することと
を含み、
前記第2のパケットには前記符号化FECフレームが全く含まれないが、前記第1のパケットに含まれる前記符号化FECフレームにおける情報が、前記第1のパケットおよび前記第2のパケットにおける前記一つの符号化ソースフレームに対する情報を再構築するのに十分である、方法。 - 前記第2のビットレートに対する前記第1のビットレートの比は、約1〜約10の間である、請求項1に記載の方法。
- 前記複数の未符号化フレームは、1つ以上の音声フレームを含む、請求項1に記載の方法。
- データネットワークを介して前記1つ以上のデータパケットを送信することは、無線リンクを介して前記1つ以上のデータパケットを送信することを含む、請求項1に記載の方法。
- 前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームをパケット化することは、前記1つ以上のデータパケットの各データパケットにシーケンス情報を配置することを含み、
前記シーケンス情報は、前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームの前記シーケンス内の対応位置を特定する、請求項1に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームをパケット化することは、前記1つ以上のデータパケットの各データパケットのヘッダにシーケンス情報を配置することを含み、
前記シーケンス情報は、前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームの前記シーケンス内の対応位置を特定する、請求項1に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームをパケット化することは、前記1つ以上のデータパケットの各データパケットにシーケンス情報を配置することを含み、
前記シーケンス情報は、前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームの前記シーケンス内の対応位置を特定し、
前記シーケンス情報は、前記所与のデータパケットのペイロード内の符号化FECフレームの番号、前記第1のビットレート、前記第2のビットレート、前記ペイロード内のどの符号化フレームが前記ソースフレームに対応し、前記ペイロード内のどの符号化フレームがFECフレームに対応するか、または前記ペイロード内の前記符号化ソースフレームもしくは前記符号化FECフレームのシーケンス識別子、以上のうちのいずれか1つ以上を含む、請求項1に記載の方法。 - 前記1つ以上のデータパケットは、1つ以上のユニフォームデータグラムプロトコル(UDP)パケットを含む、請求項1に記載の方法。
- 前記1つ以上のデータパケットをメモリに格納すること、またはデータネットワークを介して前記1つ以上のデータパケットを送信することは、前記1つ以上のデータパケットを前記メモリに格納して、前記データネットワークを介して前記1つ以上のデータパケットを送信することを含む、請求項1に記載の方法。
- 前記1つ以上のデータパケットをメモリに格納すること、またはデータネットワークを介して前記1つ以上のデータパケットを送信することは、前記データネットワークを介して前記1つ以上のデータパケットを送信することを含み、
前記方法はさらに、前記データネットワークを介した送信のバースト性損失の継続時間を特定することを含む、請求項1に記載の方法。 - 前記1つ以上のデータパケットをメモリに格納すること、またはデータネットワークを介して前記1つ以上のデータパケットを送信することは、前記データネットワークを介して前記1つ以上のデータパケットを送信することを含み、
前記方法はさらに、前記データネットワークを介した送信のバースト性損失の継続時間を特定することを含み、
前記1つ以上の前フレームを前記第1のビットレート以下の前記第2のビットレートで符号化して前記1つ以上の符号化FECフレームを生成することは、前記データネットワークを介した送信のバースト性損失の前記特定した継続時間に対応する十分な数の前フレームを符号化することを含む、請求項1に記載の方法。 - 前記現フレームを第1のビットレートで符号化して、前記1つ以上の符号化ソースフレームを生成することは、前記現フレームをコーデックの第1のインスタンスにより符号化することを含み、
前記1つ以上の前フレームを、前記第1のビットレート以下の第2のビットレートで符号化して、1つ以上の符号化FECフレームを生成することは、前記1つ以上の前フレームを前記コーデックの第2のインスタンスで符号化することを含む、
請求項1に記載の方法。 - 前記複数の未符号化フレームは、1つ以上の映像フレームを含む、請求項1に記載の方法。
- 前記複数の未符号化フレームは、ゲームインターフェースからの入力ストリームの1つ以上のフレームを含む、請求項1に記載の方法。
- 前記複数の未符号化フレームは、1つ以上の音声フレームを含み、
前記1つ以上の音声フレームのそれぞれは、2つ以上の音声チャネルに対応する情報を含む、請求項1に記載の方法。 - 前記複数の未符号化フレームは、1つ以上の音声フレームを含み、
前記1つ以上の音声フレームのそれぞれは、左チャネル及び右チャネルに対応する情報を含む、請求項1に記載の方法。 - 前記複数の未符号化フレームは、1つ以上の音声フレームを含み、
前記1つ以上の音声フレームのそれぞれは、左チャネル、右チャネル、及び1つ以上の追加チャネルに対応する情報を含む、請求項1に記載の方法。 - 前記複数の未符号化フレームは、1つ以上の音声フレームを含み、
前記1つ以上の音声フレームのそれぞれは、左チャネル、右チャネル、及び1つ以上の追加チャネルに対応する情報を含み、
前記現フレームを符号化することは、前記左及び右チャネル、並びに前記1つ以上の追加チャネルを前記第1のビットレートで符号化することを含み、
前記1つ以上の符号化ソースフレームをパケット化することは、前記符号化した左及び右チャネルを1つ以上の第1のデータパケットに配置することと、前記符号化した追加チャネルを1つ以上の第2のデータパケットに配置することを含む、請求項1に記載の方法。 - 前記複数の未符号化フレームは、1つ以上の音声フレームを含み、
前記1つ以上の音声フレームのそれぞれは、左チャネル、右チャネル、及び1つ以上の追加チャネルに対応する情報を含み、
前記現フレームを符号化することは、前記現フレームの前記左及び右チャネル、並びに前記1つ以上の追加チャネルに対応する情報を前記第1のビットレートで符号化することを含み、
前記1つ以上の前フレームをFECフレームとして符号化することは、前記1つ以上の前フレームの前記左チャネル、右チャネル、及び1つ以上の追加チャネルの組み合わせに対応する情報を前記第2のビットレートで符号化することを含み、
前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームをパケット化することは、前記現フレームの前記左及び右チャネルに対応する前記符号化した情報、並びに前記1つ以上の前フレームの前記左チャネル、右チャネル、及び1つ以上の追加チャネルの前記組み合わせに対応する前記符号化した情報を、1つ以上の第1のデータパケットに配置することと、前記現フレームの前記符号化した追加チャネルを、1つ以上の第2のデータパケットに配置することを含む、請求項1に記載の方法。 - 前記複数の未符号化フレームは、1つ以上の音声フレームを含み、
前記1つ以上の音声フレームのそれぞれは、第1の左チャネル、第1の右チャネル、第2の左チャネル、及び第2の右チャネルに対応する情報を含み、
前記現フレームを符号化することは、前記現フレームの前記第1及び第2の左チャネル並びに第1及び第2の右チャネルに対応する情報を前記第1のビットレートで符号化することを含み、
前記1つ以上の前フレームをFECフレームとして符号化することは、前記1つ以上の前フレームの前記第1及び第2の左チャネル並びに第1及び第2の右チャネルの組み合わせに対応する情報を前記第2のビットレートで符号化することを含み、
前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームをパケット化することは、前記現フレームの前記第1の左チャネル及び第1の右チャネルに対応する前記符号化した情報、並びに前記1つ以上の前フレームの前記第1及び第2の左チャネル並びに第1及び第2の右チャネルの前記組み合わせに対応する前記符号化した情報を、1つ以上の第1のデータパケットに配置することと、前記現フレームの前記第2の左チャネル及び第2の右チャネルに対応する前記符号化した情報を、1つ以上の第2のデータパケットに配置することを含む、請求項1に記載の方法。 - 前記複数の未符号化フレームは、1つ以上の音声フレームを含み、
前記1つ以上の音声フレームのそれぞれは、第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、及びセンターチャネルに対応する情報を含み、
前記現フレームを符号化することは、前記現フレームの前記第1及び第2の左チャネル、前記第1及び第2の右チャネル、及び前記センターチャネルに対応する情報を前記第1のビットレートで符号化することを含み、
前記1つ以上の前フレームをFECフレームとして符号化することは、前記1つ以上の前フレームの前記第1及び第2の左チャネル、前記第1及び第2の右チャネル、及び前記センターチャネルの組み合わせに対応する情報を前記第2のビットレートで符号化することを含み、
前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームをパケット化することは、前記現フレームの前記第1の左チャネル及び第1の右チャネルに対応する前記符号化した情報、並びに前記1つ以上の前フレームの前記第1及び第2の左チャネル、前記第1及び第2の右チャネル、及び前記センターチャネルの前記組み合わせに対応する前記符号化した情報を、1つ以上の第1のデータパケットに配置することと、前記現フレームの前記第2の左チャネル、前記第2の右チャネル、及び前記センターチャネルに対応する前記符号化した情報を、1つ以上の第2のデータパケットに配置することを含む、請求項1に記載の方法。 - 前記複数の未符号化フレームは、1つ以上の音声フレームを含み、
前記1つ以上の音声フレームのそれぞれは、第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果(LFE)チャネルに対応する情報を含み、
前記現フレームを符号化することは、前記現フレームの前記第1及び第2の左チャネル、前記第1及び第2の右チャネル、及び前記センターチャネルに対応する情報を前記第1のビットレートで符号化することを含み、
前記1つ以上の前フレームをFECフレームとして符号化することは、前記1つ以上の前フレームの前記第1及び第2の左チャネル、前記第1及び第2の右チャネル、前記センターチャネル、及び前記LFEチャネルの組み合わせに対応する情報を前記第2のビットレートで符号化することを含み、
前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームをパケット化することは、前記現フレームの前記第1の左チャネル及び第1の右チャネルに対応する前記符号化した情報、並びに前記1つ以上の前フレームの前記第1及び第2の左チャネル、前記第1及び第2の右チャネル、前記センターチャネル、及び前記LFEチャネルの前記組み合わせに対応する前記符号化した情報を、1つ以上の第1のデータパケットに配置することと、前記現フレームの前記第2の左チャネル、前記第2の右チャネル、及び前記センターチャネルに対応する前記符号化した情報を、1つ以上の第2のデータパケットに配置することを含む、請求項1に記載の方法。 - プロセッサモジュールと、
前記プロセッサに接続されたメモリであって、方法を実施するように構成された実行可能命令を含む前記メモリと、
を含むシステムであって、前記方法は、
現フレーム及び1つ以上の前フレームを含む複数の未符号化フレームを受信または生成することと、
前記現フレームを第1のビットレートで符号化して、1つ以上の符号化ソースフレームを生成することと、
前記1つ以上の前フレームを、前記第1のビットレート以下の第2のビットレートで符号化して、1つ以上の符号化FECフレームを生成することと、
前記1つ以上の符号化ソースフレームの内の一つの符号化ソースフレームに対する情報の一部を前記1つ以上の符号化FECフレームとともに第1のパケットに入れ、前記一つの符号化ソースフレームに対する情報の残りを第2のパケットに入れることにより、前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームを、1つ以上のデータパケットにパケット化することと
を含み、
前記第2のパケットには前記符号化FECフレームが全く含まれないが、前記第1のパケットに含まれる前記符号化FECフレームにおける情報が、前記第1のパケットおよび前記第2のパケットにおける前記一つの符号化ソースフレームに対する情報を再構築するのに十分である、システム。 - コンピュータ可読命令を包含する非一時的コンピュータ可読記録媒体であって、前記命令は方法を実施するように構成され、前記方法は、
現フレーム及び1つ以上の前フレームを含む複数の未符号化フレームを受信または生成することと、
前記現フレームを第1のビットレートで符号化して、1つ以上の符号化ソースフレームを生成することと、
前記1つ以上の前フレームを、前記第1のビットレート以下の第2のビットレートで符号化して、1つ以上の符号化FECフレームを生成することと、
前記1つ以上の符号化ソースフレームの内の一つの符号化ソースフレームに対する情報の一部を前記1つ以上の符号化FECフレームとともに第1のパケットに入れ、前記一つの符号化ソースフレームに対する情報の残りを第2のパケットに入れることにより、前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームを、1つ以上のデータパケットにパケット化することと
を含み、
前記第2のパケットには前記符号化FECフレームが全く含まれないが、前記第1のパケットに含まれる前記符号化FECフレームにおける情報が、前記第1のパケットおよび前記第2のパケットにおける前記一つの符号化ソースフレームに対する情報を再構築するのに十分である、非一時的コンピュータ可読記録媒体。 - 1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームを含むデータパケットを復号化し再構築する方法であって、
複数のデータパケットを受信することであって、前記複数のデータパケットのいくつかのデータパケットは、第1のビットレートで符号化されたシーケンス内のソースフレームと、前記第1のビットレート以下の第2のビットレートでFECフレームとして符号化された前記シーケンス内の1つ以上の前フレームとに対応する符号化情報を含み、前記1つ以上の符号化ソースフレームの内の一つの符号化ソースフレームに対する情報の一部を前記1つ以上の符号化FECフレームとともに第1のパケットに入れ、前記一つの符号化ソースフレームに対する情報の残りを第2のパケットに入れることにより、前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームは、1つ以上のデータパケットにパケット化され、前記第2のパケットには前記符号化FECフレームが全く含まれないが、前記第1のパケットに含まれる前記符号化FECフレームにおける情報が、前記第1のパケットおよび前記第2のパケットにおける前記一つの符号化ソースフレームに対する情報を再構築するのに十分である、前記複数のデータパケットを受信することと、
前記複数のデータパケットの前記データパケットから、前記1つ以上の符号化ソースフレーム及び前記1つ以上の前フレームに対応する前記符号化情報を、パッケージ解除することと、
前記1つ以上の符号化ソースフレームを復号化して、1つ以上の復号化ソースフレームを生成することと、
前記シーケンスの所定のソースフレームに対応する符号化情報が前記複数のデータパケットから欠けているか否かを判定することと、
前記所定のソースフレームに対応する、前記複数のデータパケット内の1つ以上の対応符号化FECフレームを識別することと、
前記1つ以上の対応符号化FECフレームを復号化して、1つ以上の復号化FECフレームを生成することと、
前記1つ以上の復号化FECフレームを使用して、前記所定のソースフレームに対応する再構築フレームを生成することと
を含む、方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、符号化音声フレームである、請求項25に記載の方法。
- 前記複数のデータパケットを受信することは、ネットワークを介して前記複数のデータパケットを受信することを含む、請求項25に記載の方法。
- 前記複数のデータパケットを受信することは、無線リンクを介して前記1つ以上のデータパケットを受信することを含む、請求項25に記載の方法。
- 前記複数のデータパケット内の各データパケットは、前記ソースフレーム、及びFECフレームとして符号化された前記シーケンス内の前記1つ以上の前フレームに関する前記シーケンス内の対応位置を特定するシーケンス情報を含む、請求項25に記載の方法。
- 前記複数のデータパケット内の各データパケットのヘッダは、前記ソースフレーム、及びFECフレームとして符号化された前記シーケンス内の前記1つ以上の前フレームに関する前記シーケンス内の対応位置を特定するシーケンス情報を含む、請求項25に記載の方法。
- 前記複数のデータパケット内の各データパケットは、前記ソースフレーム、及びFECフレームとして符号化された前記シーケンス内の前記1つ以上の前フレームに関する前記シーケンス内の対応位置を特定するシーケンス情報を含み、
前記シーケンス情報は、前記所定のデータパケットのペイロード内の符号化FECフレームの番号、前記第1のビットレート、前記第2のビットレート、前記ペイロード内のどの符号化フレームが前記ソースフレームに対応し、前記ペイロード内のどの符号化フレームがFECフレームに対応するか、または前記ペイロード内の前記符号化ソースフレームもしくは前記符号化FECフレームのシーケンス識別子、以上のうちのいずれか1つ以上を含む、請求項25に記載の方法。 - 前記1つ以上のデータパケットは、1つ以上のユニフォームデータグラムプロトコル(UDP)パケットを含む、請求項25に記載の方法。
- 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の符号化映像フレームである、請求項25に記載の方法。
- 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、ゲームインターフェースからの入力ストリームの1つ以上の符号化フレームである、請求項25に記載の方法。
- 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームは、2つ以上の音声チャネルに対応する情報を含む、請求項25に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームは、左チャネル及び右チャネルに対応する情報を含む、請求項25に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームのそれぞれは、左チャネル、右チャネル、及び1つ以上の追加チャネルに対応する情報を含み、
前記ソースフレームに対応する前記符号化情報は、1つ以上の第1のデータパケット内に前記左及び右チャネルに対応する符号化情報、及び、1つ以上の第2のデータパケット内に前記1つ以上の追加チャネルに対応する符号化情報を含む、請求項25に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームのそれぞれは、左チャネル、右チャネル、及び1つ以上の追加チャネルに対応する情報を含み、
前記ソースフレームに対応する前記符号化情報は、1つ以上の第1のデータパケット内に前記左及び右チャネルに対応する符号化情報を含み、
1つ以上の第2のデータパケット内に前記1つ以上の追加チャネルに対応する符号化情報を含み、
前記1つ以上の第1のデータパケットはさらに、前記1つ以上の前フレームの前記左チャネル、右チャネル、及び1つ以上の追加チャネルの組み合わせに対応する前記第2のビットレートでの符号化情報を含む1つ以上の符号化FECフレームを含む、請求項25に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームのそれぞれは、左チャネル、右チャネル、及び1つ以上の追加チャネルに対応する情報を含み、
前記ソースフレームに対応する前記符号化情報は、1つ以上の第1のデータパケット内に前記左及び右チャネルに対応する符号化情報を含み、
1つ以上の第2のデータパケット内に前記1つ以上の追加チャネルに対応する符号化情報を含み、
前記1つ以上の第1のデータパケットはさらに、前記1つ以上の前フレームの前記左チャネル、右チャネル、及び1つ以上の追加チャネルの組み合わせに対応する前記第2のビットレートでの符号化情報を含む1つ以上の符号化FECフレームを含み、
前記所定のソースフレームに対応する前記再構築フレームを生成することは、前記所定のソースフレームの前記1つ以上の追加チャネルに対応する欠落情報を、前記第1のデータパケットのうちの1つ以上のデータパケットにおける前記所定のソースフレームの前記左チャネル、右チャネル、及び1つ以上の追加チャネルの前記組み合わせに対応する前記情報から引き出すことと、前記欠落情報を、前記第1のデータパケットのうちの別の1つ以上のデータパケットから得た前記所定のソースフレームの前記左及び右チャネルに対応する復号化情報と組み合わせることを含む、請求項25に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームのそれぞれは、左チャネル、右チャネル、及び1つ以上の追加チャネルに対応する情報を含み、
前記ソースフレームに対応する前記符号化情報は、1つ以上の第1のデータパケット内に前記左及び右チャネルに対応する符号化情報を含み、
1つ以上の第2のデータパケット内に前記1つ以上の追加チャネルに対応する符号化情報を含み、
前記1つ以上の第1のデータパケットはさらに、前記1つ以上の前フレームの前記左チャネル、右チャネル、及び1つ以上の追加チャネルの組み合わせに対応する前記第2のビットレートでの符号化情報を含む1つ以上の符号化FECフレームを含み、
前記所定のソースフレームに対応する前記再構築フレームを生成することは、前記所定のソースフレームの前記左及び右チャネルに対応する欠落情報を、前記第1のデータパケットのうちの1つ以上のデータパケットにおける前記所定のソースフレームの前記左チャネル、右チャネル、及び1つ以上の追加チャネルの前記組み合わせに対応する前記情報から引き出すことと、前記欠落情報を、前記第2のデータパケットのうちの1つのデータパケットから得た前記所定のソースフレームの前記1つ以上の追加チャネルに対応する復号化情報と組み合わせることを含む、請求項25に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームのそれぞれは、左チャネル、右チャネル、及び1つ以上の追加チャネルに対応する情報を含み、
前記ソースフレームに対応する前記符号化情報は、1つ以上の第1のデータパケット内に前記左及び右チャネルに対応する符号化情報を含み、
1つ以上の第2のデータパケット内に前記1つ以上の追加チャネルに対応する符号化情報を含み、
前記1つ以上の第1のデータパケットはさらに、前記1つ以上の前フレームの前記左チャネル、右チャネル、及び1つ以上の追加チャネルの組み合わせに対応する前記第2のビットレートでの符号化情報を含む1つ以上の符号化FECフレームを含み、
前記所定のソースフレームに対応する前記再構築フレームを生成することは、前記所定のソースフレームの前記左及び右チャネル並びに前記1つ以上の追加チャネルに対応する欠落情報を、前記第1のデータパケットのうちの1つ以上のデータパケットにおける前記所定のソースフレームの前記左チャネル、右チャネル、及び1つ以上の追加チャネルの前記組み合わせに対応する前記情報から引き出すことを含む、請求項25に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームのそれぞれは、第1の左チャネル、第1の右チャネル、第2の左チャネル、及び第2の右チャネルに対応する情報を含み、
前記ソースフレームに対応する前記符号化情報は、1つ以上の第1のデータパケット内に前記第1の左チャネル及び第1の右チャネルに対応する符号化情報、及び、1つ以上の第2のデータパケット内に前記第2の左チャネル及び第2の右チャネルに対応する符号化情報を含み、
前記1つ以上の第1のデータパケットはさらに、前記1つ以上の前フレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、及び第2の右チャネルの組み合わせに対応する前記第2のビットレートでの符号化情報を含む1つ以上の符号化FECフレームを含み、
前記所定のソースフレームに対応する前記再構築フレームを生成することは、前記所定のソースフレームの前記第2の左チャネル及び第2の右チャネルに対応する欠落情報を、前記第1のデータパケットのうちの1つ以上のデータパケットにおける前記所定のソースフレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、及び第2の右チャネルの前記組み合わせに対応する前記情報から引き出すこと、及び、前記欠落情報を、前記第1のデータパケットのうちの別の1つ以上のデータパケットから得た前記所定のソースフレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、及び第2の右チャネルに対応する復号化情報と組み合わせることを含む、請求項25に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームのそれぞれは、第1の左チャネル、第1の右チャネル、第2の左チャネル、及び第2の右チャネルに対応する情報を含み、
前記ソースフレームに対応する前記符号化情報は、1つ以上の第1のデータパケット内に前記第1の左チャネル及び第1の右チャネルに対応する符号化情報、及び、1つ以上の第2のデータパケット内に前記第2の左チャネル及び第2の右チャネルに対応する符号化情報を含み、
前記1つ以上の第1のデータパケットはさらに、前記第2のビットレートで前記1つ以上の前フレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、及び第2の右チャネルの組み合わせに対応する符号化情報を含む1つ以上の符号化FECフレームを含み、
前記所定のソースフレームに対応する前記再構築フレームを生成することは、前記所定のソースフレームの前記第1の左チャネル及び第1の右チャネルに対応する欠落情報を、前記第1のデータパケットのうちの1つ以上のデータパケットにおける前記所定のソースフレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、及び第2の右チャネルの前記組み合わせに対応する前記情報から引き出すこと、及び、前記欠落情報を、前記第2のデータパケットのうちの1つのデータパケットから得た前記所定のソースフレームの前記第2の左チャネル及び第2の右チャネルに対応する復号化情報と組み合わせることを含む、請求項25に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームのそれぞれは、第1の左チャネル、第1の右チャネル、第2の左チャネル、及び第2の右チャネルに対応する情報を含み、
前記ソースフレームに対応する前記符号化情報は、1つ以上の第1のデータパケット内に前記第1の左チャネル及び第1の右チャネルに対応する符号化情報、及び、1つ以上の第2のデータパケット内に前記第2の左チャネル及び第2の右チャネルに対応する符号化情報を含み、
前記1つ以上の第1のデータパケットはさらに、前記第2のビットレートで前記1つ以上の前フレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、及び第2の右チャネルの組み合わせに対応する符号化情報を含む1つ以上の符号化FECフレームを含み、
前記所定のソースフレームに対応する前記再構築フレームを生成することは、前記所定のソースフレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、及び第2の右チャネルに対応する欠落情報を、前記第1のデータパケットのうちの1つ以上のデータパケットにおける前記所定のソースフレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、及び第2の右チャネルの前記組み合わせに対応する前記情報から引き出すことを含む、請求項25に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームのそれぞれは、第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、及びセンターチャネルに対応する情報を含み、
前記ソースフレームに対応する前記符号化情報は、1つ以上の第1のデータパケット内に前記第1の左チャネル及び第1の右チャネルに対応する符号化情報、及び、1つ以上の第2のデータパケット内に前記第2の左チャネル、第2の右チャネル、及びセンターチャネルに対応する符号化情報を含み、
前記1つ以上の第1のデータパケットはさらに、前記1つ以上の前フレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、及びセンターチャネルの組み合わせに対応する前記第2のビットレートでの符号化情報を含む1つ以上の符号化FECフレームを含み、
前記所定のソースフレームに対応する前記再構築フレームを生成することは、前記所定のソースフレームの前記第2の左チャネル、第2の右チャネル、及びセンターチャネルに対応する欠落情報を、前記第1のデータパケットのうちの1つ以上のデータパケットにおける前記所定のソースフレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、及びセンターチャネルの前記組み合わせに対応する前記情報から引き出すことと、前記欠落情報を、前記第1のデータパケットのうちの別の1つ以上のデータパケットから得た前記所定のソースフレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、及び第2の右チャネルに対応する復号化情報と組み合わせることを含む、請求項25に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームのそれぞれは、第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、及びセンターチャネルに対応する情報を含み、
前記ソースフレームに対応する前記符号化情報は、1つ以上の第1のデータパケット内に前記第1の左チャネル及び第1の右チャネルに対応する符号化情報、及び、1つ以上の第2のデータパケット内に前記第2の左チャネル、第2の右チャネル、及びセンターチャネルに対応する符号化情報を含み、
前記1つ以上の第1のデータパケットはさらに、前記1つ以上の前フレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、及びセンターチャネルの組み合わせに対応する前記第2のビットレートでの符号化情報を含む1つ以上の符号化FECフレームを含み、
前記所定のソースフレームに対応する前記再構築フレームを生成することは、前記所定のソースフレームの前記第1の左チャネル及び第1の右チャネルに対応する欠落情報を、前記第1のデータパケットのうちの1つ以上のデータパケットにおける前記所定のソースフレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、及びセンターチャネルの前記組み合わせに対応する前記情報から引き出すことと、前記欠落情報を、前記第2のデータパケットのうちの1つのデータパケットから得た前記所定のソースフレームの前記第2の左チャネル、第2の右チャネル、及びセンターチャネルに対応する復号化情報と組み合わせることを含む、請求項25に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームのそれぞれは、第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、及びセンターチャネルに対応する情報を含み、
前記ソースフレームに対応する前記符号化情報は、1つ以上の第1のデータパケット内に前記第1の左チャネル及び第1の右チャネルに対応する符号化情報、及び、1つ以上の第2のデータパケット内に前記第2の左チャネル、第2の右チャネル、及びセンターチャネルに対応する符号化情報を含み、
前記1つ以上の第1のデータパケットはさらに、前記第2のビットレートで前記1つ以上の前フレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、及びセンターチャネルの組み合わせに対応する符号化情報を含む1つ以上の符号化FECフレームを含み、
前記所定のソースフレームに対応する前記再構築フレームを生成することは、前記所定のソースフレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、及びセンターチャネルに対応する欠落情報を、前記第1のデータパケットのうちの1つ以上のデータパケットにおける前記所定のソースフレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、及びセンターチャネルの前記組み合わせに対応する前記情報から引き出すことを含む、請求項25に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームのそれぞれは、第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果チャネルに対応する情報を含み、
前記ソースフレームに対応する前記符号化情報は、1つ以上の第1のデータパケット内に前記第1の左チャネル及び第1の右チャネルに対応する符号化情報、及び、1つ以上の第2のデータパケット内に前記第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果チャネルに対応する符号化情報を含み、
前記1つ以上の第1のデータパケットはさらに、前記1つ以上の前フレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果チャネルの組み合わせに対応する前記第2のビットレートでの符号化情報を含む1つ以上の符号化FECフレームを含み、
前記所定のソースフレームに対応する前記再構築フレームを生成することは、前記所定のソースフレームの前記第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果チャネルに対応する欠落情報を、前記第1のデータパケットのうちの1つ以上のデータパケットにおける前記所定のソースフレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果チャネルの前記組み合わせに対応する前記情報から引き出すことと、前記欠落情報を、前記第1のデータパケットのうちの別の1つ以上のデータパケットから得た前記所定のソースフレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、及び第2の右チャネルに対応する復号化情報と組み合わせることを含む、請求項25に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームのそれぞれは、第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果チャネルに対応する情報を含み、
前記ソースフレームに対応する前記符号化情報は、1つ以上の第1のデータパケット内に前記第1の左チャネル及び第1の右チャネルに対応する符号化情報、及び、1つ以上の第2のデータパケット内に前記第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果チャネルに対応する符号化情報を含み、
前記1つ以上の第1のデータパケットはさらに、前記1つ以上の前フレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果チャネルの組み合わせに対応する前記第2のビットレートでの符号化情報を含む1つ以上の符号化FECフレームを含み、
前記所定のソースフレームに対応する前記再構築フレームを生成することは、前記所定のソースフレームの前記第1の左チャネル及び第1の右チャネルに対応する欠落情報を、前記第1のデータパケットのうちの1つ以上のデータパケットにおける前記所定のソースフレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果チャネルの前記組み合わせに対応する前記情報から引き出すことと、前記欠落情報を、前記第2のデータパケットのうちの1つのデータパケットから得た前記所定のソースフレームの前記第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果チャネルに対応する復号化情報と組み合わせることを含む、請求項25に記載の方法。 - 前記1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームは、1つ以上の音声フレームに対応し、
前記1つ以上の音声フレームのそれぞれは、第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果チャネルに対応する情報を含み、
前記ソースフレームに対応する前記符号化情報は、1つ以上の第1のデータパケット内に前記第1の左チャネル及び第1の右チャネルに対応する符号化情報、及び、1つ以上の第2のデータパケット内に前記第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果チャネルに対応する符号化情報を含み、
前記1つ以上の第1のデータパケットはさらに、前記1つ以上の前フレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果チャネルの組み合わせに対応する前記第2のビットレートでの符号化情報を含む1つ以上の符号化FECフレームを含み、
前記所定のソースフレームに対応する前記再構築フレームを生成することは、前記所定のソースフレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果チャネルに対応する欠落情報を、前記第1のデータパケットのうちの1つ以上のデータパケットにおける前記所定のソースフレームの前記第1の左チャネル、第1の右チャネル、第2の左チャネル、第2の右チャネル、センターチャネル、及び重低音効果チャネルの前記組み合わせに対応する前記情報から引き出すことを含む、請求項25に記載の方法。 - プロセッサモジュールと、
前記プロセッサに接続されたメモリと、
を備えるシステムであって、前記メモリは、1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームを含むデータパケットを復号化し再構築する方法を実施するように構成された実行可能命令を含み、前記方法は、
複数のデータパケットを受信することであって、前記複数のデータパケットのいくつかのデータパケットは、第1のビットレートで符号化されたシーケンス内のソースフレームと、前記第1のビットレート以下の第2のビットレートでFECフレームとして符号化された前記シーケンス内の1つ以上の前フレームとに対応する符号化情報を含み、前記1つ以上の符号化ソースフレームの内の一つの符号化ソースフレームに対する情報の一部を前記1つ以上の符号化FECフレームとともに第1のパケットに入れ、前記一つの符号化ソースフレームに対する情報の残りを第2のパケットに入れることにより、前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームは、1つ以上のデータパケットにパケット化され、前記第2のパケットには前記符号化FECフレームが全く含まれないが、前記第1のパケットに含まれる前記符号化FECフレームにおける情報が、前記第1のパケットおよび前記第2のパケットにおける前記一つの符号化ソースフレームに対する情報を再構築するのに十分である、前記複数のデータパケットを受信することと、
前記複数のデータパケットの前記データパケットから、前記1つ以上の符号化ソースフレーム及び前記1つ以上の前フレームに対応する前記符号化情報を、パッケージ解除することと、
前記1つ以上の符号化ソースフレームを復号化して、1つ以上の復号化ソースフレームを生成することと、
前記シーケンスの所定のソースフレームに対応する符号化情報が前記複数のデータパケットから欠けているか否かを判定することと、
前記所定のソースフレームに対応する、前記複数のデータパケット内の1つ以上の対応符号化FECフレームを識別することと、
前記1つ以上の対応符号化FECフレームを復号化して、1つ以上の復号化FECフレームを生成することと、
前記1つ以上の復号化FECフレームを使用して、前記所定のソースフレームに対応する再構築フレームを生成することと
を含む、システム。 - 1つ以上の符号化ソースフレーム及び1つ以上の符号化前方誤り訂正(FEC)フレームを含むデータパケットを復号化し再構築する方法を実施するように構成されたコンピュータ可読命令を包含する非一時的コンピュータ可読記録媒体であって、前記方法は、
複数のデータパケットを受信することであって、前記複数のデータパケットのいくつかのデータパケットは、第1のビットレートで符号化されたシーケンス内のソースフレームと、前記第1のビットレート以下の第2のビットレートでFECフレームとして符号化された前記シーケンス内の1つ以上の前フレームとに対応する符号化情報を含み、前記1つ以上の符号化ソースフレームの内の一つの符号化ソースフレームに対する情報の一部を前記1つ以上の符号化FECフレームとともに第1のパケットに入れ、前記一つの符号化ソースフレームに対する情報の残りを第2のパケットに入れることにより、前記1つ以上の符号化ソースフレーム及び前記1つ以上の符号化FECフレームは、1つ以上のデータパケットにパケット化され、前記第2のパケットには前記符号化FECフレームが全く含まれないが、前記第1のパケットに含まれる前記符号化FECフレームにおける情報が、前記第1のパケットおよび前記第2のパケットにおける前記一つの符号化ソースフレームに対する情報を再構築するのに十分である、前記複数のデータパケットを受信することと、
前記複数のデータパケットの前記データパケットから、前記1つ以上の符号化ソースフレーム及び前記1つ以上の前フレームに対応する前記符号化情報を、パッケージ解除することと、
前記1つ以上の符号化ソースフレームを復号化して、1つ以上の復号化ソースフレームを生成することと、
前記シーケンスの所定のソースフレームに対応する符号化情報が前記複数のデータパケットから欠けているか否かを判定することと、
前記所定のソースフレームに対応する、前記複数のデータパケット内の1つ以上の対応符号化FECフレームを識別することと、
前記1つ以上の対応符号化FECフレームを復号化して、1つ以上の復号化FECフレームを生成することと、
前記1つ以上の復号化FECフレームを使用して、前記所定のソースフレームに対応する再構築フレームを生成することと
を含む、非一時的コンピュータ可読記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/225,508 US10447430B2 (en) | 2016-08-01 | 2016-08-01 | Forward error correction for streaming data |
US15/225,508 | 2016-08-01 | ||
PCT/US2017/044229 WO2018026632A1 (en) | 2016-08-01 | 2017-07-27 | Forward error correction for streaming data |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020502832A JP2020502832A (ja) | 2020-01-23 |
JP6893237B2 true JP6893237B2 (ja) | 2021-06-23 |
Family
ID=61010264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019504922A Active JP6893237B2 (ja) | 2016-08-01 | 2017-07-27 | データストリーミングの前方誤り訂正 |
Country Status (6)
Country | Link |
---|---|
US (3) | US10447430B2 (ja) |
EP (1) | EP3491757B1 (ja) |
JP (1) | JP6893237B2 (ja) |
KR (1) | KR102295788B1 (ja) |
CN (1) | CN109923809B (ja) |
WO (1) | WO2018026632A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10447430B2 (en) | 2016-08-01 | 2019-10-15 | Sony Interactive Entertainment LLC | Forward error correction for streaming data |
EP3563605B1 (en) * | 2016-12-27 | 2021-07-21 | Denso Corporation | System and method for microlocation sensor communication |
US10644834B1 (en) * | 2017-08-08 | 2020-05-05 | Marvell International Ltd. | Efficient ethernet multi-mode coding and modulation for twisted-pair |
US11232532B2 (en) * | 2018-05-30 | 2022-01-25 | Sony Interactive Entertainment LLC | Multi-server cloud virtual reality (VR) streaming |
US10803876B2 (en) | 2018-12-21 | 2020-10-13 | Microsoft Technology Licensing, Llc | Combined forward and backward extrapolation of lost network data |
US10784988B2 (en) * | 2018-12-21 | 2020-09-22 | Microsoft Technology Licensing, Llc | Conditional forward error correction for network data |
US11363125B2 (en) * | 2019-09-12 | 2022-06-14 | Bose Corporation | Systems and methods for increasing reliability for media data distribution |
EP4035289A1 (en) * | 2019-09-25 | 2022-08-03 | Mixhalo Corp. | Multi-stride packet payload mapping for robust transmission of data |
CN114079534B (zh) | 2020-08-20 | 2023-03-28 | 腾讯科技(深圳)有限公司 | 编码、解码方法、装置、介质和电子设备 |
CN114079535B (zh) | 2020-08-20 | 2023-02-17 | 腾讯科技(深圳)有限公司 | 转码方法、装置、介质和电子设备 |
KR102377474B1 (ko) * | 2020-11-13 | 2022-03-23 | 이화여자대학교 산학협력단 | 파라미터 전이 lstm을 이용한 손실 데이터 복구 방법 및 장치 |
CN113037431A (zh) * | 2021-01-28 | 2021-06-25 | 深圳点猫科技有限公司 | 一种嵌入式音频数据传输的方法及*** |
US11489620B1 (en) * | 2021-06-09 | 2022-11-01 | Microsoft Technology Licensing, Llc | Loss recovery using streaming codes in forward error correction |
US12040894B1 (en) * | 2023-01-09 | 2024-07-16 | Cisco Technology, Inc. | Bandwidth utilization techniques for in-band redundant data |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US813608A (en) | 1900-06-20 | 1906-02-27 | Diamond Match Co | Box-machine. |
US8213431B2 (en) * | 2008-01-18 | 2012-07-03 | The Boeing Company | System and method for enabling wireless real time applications over a wide area network in high signal intermittence environments |
US5737337A (en) * | 1996-09-30 | 1998-04-07 | Motorola, Inc. | Method and apparatus for interleaving data in an asymmetric digital subscriber line (ADSL) transmitter |
US6728924B1 (en) | 1999-10-21 | 2004-04-27 | Lucent Technologies Inc. | Packet loss control method for real-time multimedia communications |
US6584438B1 (en) | 2000-04-24 | 2003-06-24 | Qualcomm Incorporated | Frame erasure compensation method in a variable rate speech coder |
JP2002162998A (ja) * | 2000-11-28 | 2002-06-07 | Fujitsu Ltd | パケット修復処理を伴なう音声符号化方法 |
TW518844B (en) | 2001-03-21 | 2003-01-21 | Ind Tech Res Inst | Transmission method of multimedia data packet in network system |
JP3880497B2 (ja) * | 2002-09-27 | 2007-02-14 | Necインフロンティア株式会社 | Lan通信システム |
JP4173755B2 (ja) | 2003-03-24 | 2008-10-29 | 富士通株式会社 | データ伝送サーバ |
US7624021B2 (en) | 2004-07-02 | 2009-11-24 | Apple Inc. | Universal container for audio data |
US7539187B2 (en) | 2004-07-07 | 2009-05-26 | Qvidium Technologies, Inc. | System and method for low-latency content-sensitive forward error correction |
US7706415B2 (en) | 2004-07-29 | 2010-04-27 | Microsoft Corporation | Packet multiplexing multi-channel audio |
JP5425397B2 (ja) * | 2004-12-02 | 2014-02-26 | トムソン ライセンシング | 適応型前方誤り訂正を行う装置及び方法 |
US7613979B1 (en) | 2005-12-07 | 2009-11-03 | Sony Computer Entertainment Inc. | Network communication protocol for large scale distribution of streaming content |
US7562278B2 (en) * | 2005-12-29 | 2009-07-14 | Intel Corporation | Incremental forward error correction redundancy |
WO2008013528A1 (en) * | 2006-07-25 | 2008-01-31 | Thomson Licensing | Recovery from burst packet loss in internet protocol based wireless networks using staggercasting and cross-packet forward error correction |
WO2008088262A1 (en) | 2007-01-18 | 2008-07-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Dividing rtcp bandwidth between compound and non- compound rtcp packets |
US8553757B2 (en) * | 2007-02-14 | 2013-10-08 | Microsoft Corporation | Forward error correction for media transmission |
US8122330B2 (en) * | 2007-08-06 | 2012-02-21 | Alcatel Lucent | Rate-adaptive forward error correction for optical transport systems |
US8091011B2 (en) | 2007-10-09 | 2012-01-03 | Broadcom Corporation | Method and system for dynamically adjusting forward error correction (FEC) rate to adapt for time varying network impairments in video streaming applications over IP networks |
JP2009159368A (ja) | 2007-12-27 | 2009-07-16 | Mitsubishi Electric Corp | データ伝送装置及び伝送可能帯域推測方法 |
JP5191826B2 (ja) | 2008-07-04 | 2013-05-08 | パナソニック株式会社 | ストリーム通信装置、ストリーム通信方法及びストリーム通信システム |
KR101077028B1 (ko) * | 2009-02-23 | 2011-10-26 | 주식회사 코아로직 | 오디오 데이터 전송 방법 및 장치 |
US9281847B2 (en) * | 2009-02-27 | 2016-03-08 | Qualcomm Incorporated | Mobile reception of digital video broadcasting—terrestrial services |
JP5229054B2 (ja) | 2009-03-30 | 2013-07-03 | 日本電気株式会社 | パケット送受信システム |
US8352252B2 (en) * | 2009-06-04 | 2013-01-08 | Qualcomm Incorporated | Systems and methods for preventing the loss of information within a speech frame |
WO2011006538A1 (en) * | 2009-07-15 | 2011-01-20 | Nokia Corporation | An apparatus |
US20110243052A1 (en) | 2010-04-02 | 2011-10-06 | Alay Ozgu | Dynamic rate and fec adaptation for video multicast in multi-rate wireless networks |
US8514225B2 (en) | 2011-01-07 | 2013-08-20 | Sony Computer Entertainment America Llc | Scaling pixel depth values of user-controlled virtual object in three-dimensional scene |
US9026434B2 (en) * | 2011-04-11 | 2015-05-05 | Samsung Electronic Co., Ltd. | Frame erasure concealment for a multi rate speech and audio codec |
US8880651B2 (en) | 2011-07-25 | 2014-11-04 | Sony Computer Entertainment America, LLC | Method and system for efficient download of data package |
US8856624B1 (en) * | 2011-10-27 | 2014-10-07 | Google Inc. | Method and apparatus for dynamically generating error correction |
EP2815529B1 (en) * | 2012-02-17 | 2019-12-11 | Samsung Electronics Co., Ltd. | Data packet transmission/reception apparatus and method |
KR102027916B1 (ko) * | 2012-02-27 | 2019-10-02 | 삼성전자주식회사 | 순방향 오류정정스킴을 사용하는 패킷 송수신 장치 및 방법 |
US9998388B2 (en) | 2014-02-06 | 2018-06-12 | Sony Interactive Entertainment LLC | Congestion control bitrate algorithm |
KR102236581B1 (ko) * | 2014-08-12 | 2021-04-06 | 삼성전자주식회사 | 단말기가 데이터를 송수신하는 방법 및 그 단말기 |
EP3208801A4 (en) | 2014-10-16 | 2018-03-28 | Sony Corporation | Transmitting device, transmission method, receiving device, and receiving method |
US9559805B2 (en) * | 2014-11-03 | 2017-01-31 | Cisco Technology, Inc. | Self-describing error correction of consolidated media content |
US10447430B2 (en) | 2016-08-01 | 2019-10-15 | Sony Interactive Entertainment LLC | Forward error correction for streaming data |
US10833710B2 (en) * | 2017-06-29 | 2020-11-10 | Cisco Technology, Inc. | Bandwidth efficient FEC scheme supporting uneven levels of protection |
-
2016
- 2016-08-01 US US15/225,508 patent/US10447430B2/en active Active
-
2017
- 2017-07-27 KR KR1020197003470A patent/KR102295788B1/ko active IP Right Grant
- 2017-07-27 CN CN201780047841.XA patent/CN109923809B/zh active Active
- 2017-07-27 EP EP17837433.6A patent/EP3491757B1/en active Active
- 2017-07-27 JP JP2019504922A patent/JP6893237B2/ja active Active
- 2017-07-27 WO PCT/US2017/044229 patent/WO2018026632A1/en unknown
-
2019
- 2019-10-11 US US16/599,547 patent/US10979175B2/en active Active
-
2021
- 2021-04-12 US US17/228,101 patent/US11489621B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR102295788B1 (ko) | 2021-08-31 |
EP3491757A4 (en) | 2020-03-25 |
EP3491757B1 (en) | 2024-06-26 |
CN109923809B (zh) | 2022-03-29 |
WO2018026632A1 (en) | 2018-02-08 |
EP3491757A1 (en) | 2019-06-05 |
US20200044772A1 (en) | 2020-02-06 |
US11489621B2 (en) | 2022-11-01 |
US10447430B2 (en) | 2019-10-15 |
CN109923809A (zh) | 2019-06-21 |
US20210234632A1 (en) | 2021-07-29 |
US10979175B2 (en) | 2021-04-13 |
US20180034583A1 (en) | 2018-02-01 |
JP2020502832A (ja) | 2020-01-23 |
KR20190027856A (ko) | 2019-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6893237B2 (ja) | データストリーミングの前方誤り訂正 | |
KR101449710B1 (ko) | 데이터 통신시스템, 데이터 송신장치, 데이터 송신방법 및패킷 사이즈 및 용장도 결정방법 | |
KR101649374B1 (ko) | 가속화된 처리율을 달성하는 시스템 및 방법 | |
JP5661693B2 (ja) | 輻輳回避と共に損失パケット回復を行うシステム及び方法 | |
JP4513725B2 (ja) | パケット送信装置、通信システム及びプログラム | |
KR100634946B1 (ko) | 패킷 에러 정정 장치 및 방법 | |
TWI419565B (zh) | 緩衝媒體流之封包的方法、緩衝媒體流之系統、用於傳送之裝置與晶片組、伺服器、以及電腦程式產品 | |
US7779336B2 (en) | Assembling forward error correction frames | |
US8976858B2 (en) | Error resilience using out of band directory information | |
US20050013249A1 (en) | Redundant packets for streaming video protection | |
JP2004517534A (ja) | パケット・チャネルを介するマルチメディア通信のための方法 | |
US20080101398A1 (en) | Transmission scheme dependent control of a frame buffer | |
GB2495928A (en) | Real-time streaming system with interdependent determination of transmission parameters and receiver jitter buffer parameters | |
CN106899380B (zh) | 一种volte视频电话传输方法及其*** | |
JP5344541B2 (ja) | データ送信装置、送信方法及びプログラム | |
JP2007507955A (ja) | パケット交換ネットワークを介したリアルタイム伝送用のメディアパケット構造 | |
WO2018109500A1 (en) | Low delay, error resilient video transport protocol over public ip transit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190129 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191024 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210531 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6893237 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |