JP2014007664A - 送信装置、通信システム、及び送信方法 - Google Patents
送信装置、通信システム、及び送信方法 Download PDFInfo
- Publication number
- JP2014007664A JP2014007664A JP2012143437A JP2012143437A JP2014007664A JP 2014007664 A JP2014007664 A JP 2014007664A JP 2012143437 A JP2012143437 A JP 2012143437A JP 2012143437 A JP2012143437 A JP 2012143437A JP 2014007664 A JP2014007664 A JP 2014007664A
- Authority
- JP
- Japan
- Prior art keywords
- packet
- fec
- loss rate
- packet loss
- packets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Detection And Prevention Of Errors In Transmission (AREA)
Abstract
【課題】パケット損失を好適に回復できる送信装置を提供する。
【解決手段】送信装置は、パケットを受信装置へ送信する送信部と、パケットの発生確率の分布に基づいて、受信装置における復号処理後のパケット損失率である第1のパケット損失率の期待値が所定品質を満たすよう、送信部により送信されるFECパケットの割合を導出する冗長度導出部と、を備える。
【選択図】図7
【解決手段】送信装置は、パケットを受信装置へ送信する送信部と、パケットの発生確率の分布に基づいて、受信装置における復号処理後のパケット損失率である第1のパケット損失率の期待値が所定品質を満たすよう、送信部により送信されるFECパケットの割合を導出する冗長度導出部と、を備える。
【選択図】図7
Description
本開示は、送信装置、通信システム、及び送信方法に関する。
データ伝送における誤り制御の1つの手法として、前方誤り訂正(FEC:Forward Error Correction)が知られている。
FECに関して、例えば、以下の特許文献1が知られている。特許文献1では、総伝送レートが限定される環境下において、映像/音声のメディアデータの再送における伝送レート、FECデータの伝送レート、及びRTT(Round Trip Time)の値に基づき、FECパケット数を決定する。
特許文献1の技術では、FECによる回復性能の過不足が発生し、パケット損失を好適に回復することが困難であった。
本開示は、パケット損失を好適に回復できる送信装置、通信システム、及び送信方法を提供する。
本開示の送信装置は、パケットを受信装置へ送信する送信部と、前記パケットの発生確率の分布に基づいて、前記受信装置における復号処理後のパケット損失率である第1のパケット損失率の期待値が所定品質を満たすよう、前記送信部により送信されるFECパケットの割合を導出する冗長度導出部と、を備える。
本開示によれば、パケット損失を好適に回復できる。
以下、本開示の実施形態について、図面を参照して説明する。
(本開示の一形態を得るに至った経緯)
近年、IPネットワークを利用したリアルタイム映像伝送(例えばTV会議のリアルタイム映像伝送)が普及してきている。また、高速無線回線(例えば、WiMAX(Worldwide Interoperability for Microwave Access)又はLTE(Long Term Evolution))を介して、リアルタイム映像伝送を行いたいという要求が高まってきている。
近年、IPネットワークを利用したリアルタイム映像伝送(例えばTV会議のリアルタイム映像伝送)が普及してきている。また、高速無線回線(例えば、WiMAX(Worldwide Interoperability for Microwave Access)又はLTE(Long Term Evolution))を介して、リアルタイム映像伝送を行いたいという要求が高まってきている。
有線IPネットワークを利用して通信する場合、伝送途中において数%程度のパケット損失が発生することがある。無線回線(例えばWiMAX又はLTE)を介して通信する場合、例えば移動による基地局ハンドオーバ又は干渉の影響により、有線IPネットワークに比べてパケット損失率も大きくなる。IPネットワークを利用した映像伝送においてパケット損失が発生すると、例えば映像乱れ又は音声途切れを引き起こし、映像品質が劣化する。
ネットワークにおいて損失したパケットを復元する技術として、例えば、再送(ARQ:Automatic repeat request)又は誤り訂正符号(FEC:Forward Error Correction)が知られている。
例えば再送の回数又はFECの冗長度を増やすことにより、パケット損失したときの復元可能性は高くなる。一方、メディアデータ(例えば映像データ又は音声データ)の伝送に用いる帯域量(例えば伝送レート)が、再送の回数又はFECの冗長度に応じて減ることにより、映像品質が劣化する。従って、パケット損失を回復できる範囲内において、再送又はFECにかける帯域量を過不足なく付けることが好ましい。
例えば、ビデオフレーム(ピクチャ)単位でFECを適用することを仮定する。この過程は、特許文献1において、ビデオフレームデータをFECブロック単位とすることに相当する。
ピクチャ単位のFEC適用状況を図1に示す。図1の例では、送信側の装置が、ビデオフレームが4つの映像パケットにパケット化され、映像パケット[0]と映像パケット[1]の符号化により、FECパケット[0]を生成する状況を示す。また、FECパケット[1]は、映像パケット[2]と映像パケット[3]の符号化により生成される。
図1の受信側では、4個の映像パケット及び2個のFECパケットのうち、映像パケット[0]をネットワークにおいて損失(ロス)した状況を示す。この場合、符号化に利用された映像パケット[1]とFECパケット[0]による復号により、映像パケット[0]が復元される。この結果、ビデオフレームが復元される。
特許文献1において、総伝送レート、再送データレート、及びRTTに応じてFECパケット数を決定するためのテーブルを、図2に示す。例えば、伝送レート(総伝送レート−再送データレート)が1Mbps(=1000kbps)であり、RTTが110msである場合を想定する。この場合、各ピクチャに対して6個のFECパケットが生成される。
また、伝送レートが1Mbpsの条件下における1ピクチャあたりの映像パケット数の分布例を、図3(A),(B)に示す。図3(A),(B)では、1ピクチャあたりの映像パケット数は、1パケットから23パケットとなり得る。つまり、1ピクチャあたりの映像パケット数は変化する。
特許文献1では、1ピクチャあたりの映像パケット数が変化しても、常に1ピクチャに対して6つのFECパケットを生成する。
1ピクチャあたりの映像パケットが1個、6個、23個である場合に、それぞれFECパケットを6個ずつ生成する場合のランダムロス環境におけるネットワーク(通信路)のパケット損失率に対するFEC復号後パケット損失率(パケットロス率)を、図4に示す。つまり、図4では、映像パケットに対して一律に同数のFECパケットが付加された場合のパケット損失率の特性を示している。図4では、横軸に、ネットワーク(通信路)において発生するパケット損失率を示し、縦軸に、受信側の装置におけるFEC復号後のパケット損失率を示す。
例えば、FEC復号後のパケット損失率が10−3(=0.1%)未満となるように目標品質を想定する。ネットワークのパケット損失率が3%である場合、1ピクチャあたりの映像パケットが23個であると、目標品質を満たせない。一方、1ピクチャあたりの映像パケットが1個であると、目標品質をはるかに超える良好な回復性能が得られる。
このように、各ピクチャに対して、一律同数のFECパケットを付加すると、FECによる回復性能の過不足が発生する。
また、FECによる回復性能不足を防ぐ方法として、映像パケットとFECパケットとの個数比を一定にして、FECパケットを付加することも考えられる。
1ピクチャあたりの映像パケットが1個、5個、10個である場合に、それぞれFECパケットを1個、5個、10個生成する場合のランダムロス環境におけるネットワーク(通信路)のパケット損失率に対するFEC復号後パケット損失率を、図5に示す。つまり、図5では、映像パケット数とFECパケット数との比が一律である場合のパケット損失率の特性を示している。図5では、1ピクチャあたりの映像パケット数が多い場合(例えば10である場合)、回復性能が過剰となる。
このように、各ピクチャにおいて映像パケット数とFECパケット数との比を一律にしても、FECによる回復性能の過剰が発生する。
以下では、パケット損失を好適に回復できる送信装置、通信システム、及び送信方法について説明する。
(第1の実施形態)
図6は、第1の実施形態における通信システム1000の構成例を示すブロック図である。通信システム1000は、送信装置100、受信装置200、及びIPネットワーク300を含む。送信装置100及び受信装置200は、IPネットワーク300に接続される。
図6は、第1の実施形態における通信システム1000の構成例を示すブロック図である。通信システム1000は、送信装置100、受信装置200、及びIPネットワーク300を含む。送信装置100及び受信装置200は、IPネットワーク300に接続される。
IPネットワーク300は、ネットワークの一例であり、有線回線又は無線回線を有する。また、IPネットワーク300は、公衆回線を有してもよいし、専用回線を有してもよい。
図7は、送信装置100の構成例を示すブロック図である。
送信装置100は、映像符号化部101、パケット化部102、FEC符号化部103、RTP送信部104、RTCP受信部105、冗長度導出部106、及びレート制御部107を備える。
送信装置100は、映像符号化部101、パケット化部102、FEC符号化部103、RTP送信部104、RTCP受信部105、冗長度導出部106、及びレート制御部107を備える。
映像符号化部101は、例えばカメラ又はDVDの入力映像を、所定の映像符号化方式(例えばH.264/AVC(Advanced Video Coding)の映像符号化方式)を用いて、圧縮符号化する。また、映像符号化部101は、符号化された映像フレームをパケット化部102へ出力する。映像符号化部101は、映像を符号化するための映像エンコードレートとして、レート制御部107から通知される値を用いる。映像フレームは、符号化フレームの一例である。
なお、映像符号化部101は、映像エンコードレートが変わっても、例えばパケット長を調整することにより、送出するパケット数の発生確率分布を一定に維持する。
パケット化部102は、映像符号化部101により符号化された映像フレームを所定のパケットサイズにパケット化し、映像データパケット(映像パケット)としてFEC符号化部103へ出力する。映像データパケットは、例えばRTPパケットである。
FEC符号化部103は、パケット化部102からの映像データパケットに対して、レート制御部107からのFEC強度に基づいてFEC符号化し、FECパケットを生成する。FEC符号化後、FEC符号化部103は、映像データパケットとFECパケットとをRTP送信部104へ出力する。FEC符号としては、例えばLDPC(Low Density Parity Check)符号が用いられる。
なお、FEC強度とは、映像データの帯域量に対するFEC割合を示す。例えば、FEC強度=100の場合、映像データパケットの帯域量:FECパケットの帯域量=1:1の比となるように、FECパケットが付加される。例えば、1ピクチャが5個の映像データパケットを含んで構成される場合、FEC強度=100では、FECパケットが5個生成される。この場合、例えば(総パケット数,データパケット数)=(10,5)とも記される。
RTP送信部104は、映像データパケット及びFECパケットのRTPヘッダ領域に情報を設定し、IPネットワーク300を介して受信装置200へパケット(映像データパケット又はFECパケット)を送信する。RTPヘッダ領域には、映像データパケット又はFECパケットに関する情報が格納される。例えば、FECパケットを生成する元となった映像データパケット又はFECパケットの識別情報、タイムスタンプが含まれる。
なお、RTP(Real−time Transport Protocol)は、例えば音声又は映像をストリーミング再生するための伝送プロトコルである。
RTCP受信部105は、受信装置200から送信されたフィードバックパケットを受信し、フィードパックパケットに含まれる情報を抽出する。フィードバックパケットには、例えば、IPネットワーク300のパケット損失率及び時刻情報が含まれる。時刻情報は、送信時刻及び受信時刻の情報を含み、この情報からRTTが導出される。
IPネットワーク300のパケット損失率とは、受信装置200により受信されなかったパケットと、受信されたがエラーを含むパケットと、を考慮している。IPネットワーク(通信路)300のパケット損失率は、映像データパケット,FECパケットの種別に関係なく、IPネットワークにおいて損失したパケット割合に相当する。FEC復号後のパケット損失率とは、受信できたパケット(映像データパケット,FECパケット)に基づきFEC復号したが回復できなかった映像データパケット、を考慮している。FEC復号後のパケット損失率は、第1のパケット損失率の一例である。IPネットワーク300のパケット損失率は、第2のパケット損失率の一例である。
なお、RTCP(RTP Control Protocol)は、送信装置100と受信装置200との間において通信されるRTPデータに関連する制御情報を伝送するためのプロトコルである。
レート制御部107は、RTCP受信部105からのIPネットワーク300のパケット損失率とRTTとを冗長度導出部106へ出力し、FEC符号化部103によりFEC符号化するときのFEC強度を決定するよう要求する。RTTは、例えば再送可能か否かを判断するために用いられる。再送できる場合には、再送できない場合と比較して、FEC強度を小さくできる。
また、レート制御部107は、冗長度導出部106からのFEC強度と、RTCP受信部105からのIPネットワーク300のパケット損失率及びRTTの情報と、に基づいて、IPネットワーク300におけるネットワーク帯域を推定する。IPネットワーク300におけるネットワーク帯域は、例えば伝送レートである。
また、レート制御部107は、冗長度導出部106から受け取ったFEC強度に基づき推定されたネットワーク帯域内における映像エンコードレートを決定する。レート制御部107は、映像エンコードレートを映像符号化部101へ出力し、FEC強度をFEC符号化部103へ出力する。
冗長度導出部106は、FEC強度を導出するためのFEC強度導出テーブル106A(例えば後述する図13参照)を保持する。FEC強度導出テーブル106Aは、例えば、IPネットワーク(通信路)300のパケット損失率に対する目標品質を満たすFEC強度の対応テーブルを格納する。
パケット数Kの発生確率の情報は、映像符号化部101又はパケット化部102から冗長度導出部106へ予め通知される。
また、パケット数Kにおける,各FEC強度に対するFEC復号後のパケット損失率の情報は、外部装置から取得されてもよい。本実施形態では、FEC強度導出テーブル106Aは、例えば受信装置200との通信前に予め用意されている。
また、FEC強度導出テーブル106Aは、冗長度導出部106の内部以外の送信装置100内のメモリに格納されてもよい。また、外部装置がFEC強度導出テーブル106Aを保持しており、送信装置100が通信等によりFEC強度導出テーブル106Aを参照可能な状態であってもよい。
また、冗長度導出部106は、FEC強度導出テーブル106Aを参照し、レート制御部107からのIPネットワーク300のパケット損失率に基づいて、全体のFEC復号後のパケット損失率が目標品質以上となるFEC強度を決定する。また、冗長度導出部106は、導出されたFEC強度をレート制御部107へ出力する。
図8は、受信装置200の構成例を示すブロック図である。
受信装置200は、RTP受信部201、FEC復号部202、映像復号部203、回線品質測定部204、及びRTCP送信部205を備える。
受信装置200は、RTP受信部201、FEC復号部202、映像復号部203、回線品質測定部204、及びRTCP送信部205を備える。
RTP受信部201は、送信装置100から送信されたパケット(例えば映像データパケット又はFECパケット)を受信する。RTP受信部201は、受信パケットに含まれるシーケンス番号及び時刻情報を回線品質測定部204へ出力し、受信パケット(映像データパケット及びFECパケット)をFEC復号部202へ出力する。時刻情報は、例えば送信装置100によるパケットの送信時刻を含む。
FEC復号部202は、RTP受信部201からの映像データパケット及びFECパケットから、IPネットワーク300において損失したパケットを特定し、FEC復号により損失したパケットを復元する。FEC復号部202は、損失パケットの特定及びFEC復号に必要なパラメータを、例えばFECパケットのヘッダ情報から取得する。FEC復号終了後、FEC復号部202は、映像データパケットを映像復号部203へ出力する。
映像復号部203は、FEC復号部202からの映像データパケットを映像フレームに復号し、送信装置100により圧縮符号化された映像符号化データを復号化する。復号化の結果、映像出力デバイスを介して映像出力される。
回線品質測定部204は、IPネットワーク300の回線品質を測定する。回線品質は、例えばIPネットワーク300におけるパケット損失率を含む。
RTCP送信部205は、送信装置100から送信されたパケットに対するフィードバックパケットを送信する。フィードパックパケットは、例えば回線品質測定部204により測定された回線品質の情報(例えば、パケット損失率,送信パケットの送信時刻情報)を含む。
次に、冗長度導出部106によるFEC強度の導出例について説明する。
ここでは、圧縮符号化方式としてH.264/AVCを用い、IPネットワーク300の伝送レートが3Mbpsであることを想定する。また、受信装置200において取得された1ピクチャのパケット数に対して、IPネットワーク300におけるパケット損失率が1.0%であり、再送なしであることを想定する。この場合に、目標品質を達成するためのFEC強度を導出する例について説明する。目標品質は、例えばFEC復号後のパケット損失率を10−3(=0.1%)未満とすることである。
図9は、IPネットワーク300の伝送レートが3Mbpsの場合に、映像符号化された映像フレームからパケット化される1ピクチャあたりのパケット数Kの累積密度分布例を示す。図9では、1ピクチャあたりのパケット数Kが1〜31の範囲において分布している。また、各Kの発生確率の一例を図10に示す。
図9,図10において、パケット数Kにおける累積密度(%)は、全パケット数(1個〜31個)の出現頻度の総和に対するパケット数1個〜K個の出現頻度の総和の割合の一例を示す。K=4〜7付近において累積密度が急上昇しているのは、1ピクチャあたりのパケット数K=4〜7の発生確率が高いためである。
なお、本実施形態では、1ピクチャあたりのパケット数の発生確率分布が一定、かつ、既知であることを想定している。
冗長度導出部106は、FEC強度導出テーブル106Aを参照し、IPネットワーク300のパケット損失率=1.0%の場合に、以下の(式1)を満たす例えば最小のFEC強度を導出する。ここで(式1)の右辺は、FEC復号後のパケット損失率(第1のパケット損失率)の期待値の一例であり、各KにおけるFEC復号後のパケット損失率と各Kの発生確率との積の総和に基づく。
FEC復号後のパケット損失率Ploss,k,Strは、例えばシミュレーションにより事前に導出され、例えば冗長度導出部106によりテーブル化されて値が保持される。FEC復号後のパケット損失率Ploss,k,Strは、各パケット数の場合の各第1のパケット損失率の一例である。また、1ピクチャのパケット数Kの発生確率(PK_event)は、例えば冗長度導出部106により値が保持される。なお,FEC復号後のパケット損失率Ploss,k,Strを理論式より導出してもよい。
FEC強度=10,20,30の場合の(式1)に対する計算結果の一例を、全体のFEC復号後のパケット損失率として、図11に示す。また、FEC強度=40,100の場合の(式1)に対する計算結果の一例を、全体のFEC復号後のパケット損失率として、図12に示す。
図11及び図12の「FECパケット数」は、FEC符号化部103が各Kに対するFEC強度に基づいて生成可能なFECパケット数を示す。例えば、K=5、FEC強度=20であれば、「FECパケット数」は、以下の(式2)による得られる値となる。
図11及び図12の「復号後損失率」は、各Kに対するFEC復号後のパケット損失率を示す。復号後損失率(FEC復号後のパケット損失率)が,Ploss,k,Strに対応する。図11及び図12の例では、IPネットワーク300のパケット損失率が1.0%の条件下における各KにおけるFEC復号後のパケット損失率Ploss,k,Strを示す。図11及び図12のFEC復号後のパケット損失率の値は、FECにLDPCを適用した場合の値(LDPC復号後のパケット損失率の値)に等しい。
なお、「復号後損失率」の欄の「xE−y」は、x×10−yを示す。例えば、「1.00E−02」は、1.00×10−2を示す。
図11及び図12を用いた(式1)の計算結果より、IPネットワーク300のパケット損失率=1.0%の条件下において、目標品質(例えばFEC復号後のパケット損失率=10−3)を満たす最小のFEC強度は、30である。従って、冗長度導出部106は、FEC強度30としてFECの冗長度(データパケットに対するFECパケットの割合)を決定する。
ここで、映像符号化部101が出力する全ピクチャ(k=1〜31)に対して、目標品質を満たそうとすると、FEC強度=100が必要となる。一方、FEC強度=30では、K=1,2,3の場合に、FECパケットを付加できないため、受信パケットに誤り(エラー)が含まれる場合には、FEC復号できずにパケット損失が常に発生する。
しかし、1ピクチャあたりのパケット数が小さい場合には、映像データ量又は映像データ量の変化量も小さく、発生確率も低いため(図10参照)、映像全体の主観に与える影響も小さい。
IPネットワーク300のパケット損失率=2%,3%に対しても、上記同様の計算により最小のFEC強度を導出した結果の一例を、図13に示す。IPネットワーク300のパケット損失率と、導出された好適なFEC強度と、を含む情報が、FEC強度導出テーブル106Aに格納される。
冗長度導出部106は、例えば図13を参照して、レート制御部107から通知されるIPネットワーク300のパケット損失率(例えば1%)に対応するFEC強度(例えば30)を導出し、レート制御部107へ出力する。
このように、送信装置100は、パケットの発生確率の分布に基づいて、受信装置200における復号処理後のパケット損失率の期待値が所定品質を満たすよう、FECパケットの割合を導出する冗長度導出部を備える。復号処理は、例えばFEC復号である。
送信装置100によれば、通信システム1000全体におけるFEC復号後のパケット損失率が目標品質を満たす最小のFEC強度を導出できる。従って、目標品質を満たし、FEC帯域を小さく抑えられるため、映像にかけられる帯域量を大きくでき、映像品質を向上できる。
すなわち、送信装置100では、ピクチャあたりのパケット数分布(例えば累積分布)を考慮した全体のFEC復号後のパケット損失率が目標品質を満たすように、FEC強度を設定する。従って、そもそものFECパケットに用いられるネットワーク帯域を小さく抑え、映像パケットに用いられるネットワーク帯域を大きくできるため、映像品質が改善する。図14の例では、FEC強度=100による通信から、FEC強度=30による通信を行っても目標品質を満たせる場合、通信される全パケット数に対する映像データパケットの割合は、27%増加される。
また、例えば、映像エンコーダのパラメータが固定又は入力映像ソースが類似する場合、ピクチャあたりのパケット数分布に傾向がある。この場合、事前にFEC強度を決めても、映像品質を高品質に維持できる。送信装置100は、予め映像符号化部101から出力した例えば1ピクチャあたりの各パケット数の発生確率又はその累積密度の情報に基づき、FEC強度を決定してもよい。
すなわち、1ピクチャK個である事象の発生確率(PK_event)は、予め映像エンコーダから出力した結果としてもよい。これにより、例えば、映像エンコーダのパラメータが固定、又は、通信される映像の統計量が類似する場合、FEC強度を導出する事前計算を毎回行わなくて済むので、処理を簡略化できる。本実施形態では、送出される1ピクチャあたりのパケット数の発生確率分布は一定に維持されるので、映像エンコードレートが変更されても、発生確率(PK_event)は同じであり、既知である。
また、冗長度導出部106は、1ピクチャK個である事象の発生確率(PK_event)と、IPネットワーク300のパケット損失率(Ploss)の場合の(K、Str)におけるFEC復号後のパケット損失率(Ploss_K_Str)と、の積の総和により、システム全体のFEC復号後のパケット損失率を導出してもよい。
これにより、IPネットワーク300のパケット損失率に応じて最適なFEC強度を決定可能であり、ネットワーク状況を考慮したFEC強度を選択できる。
また、特に1ピクチャあたりのパケット数Kが大きいものが大半を占める場合には、パケット数Kの小さい領域において目標品質を満たせない領域が発生しても劣化影響は小さい。従って、全体のFECに用いられるネットワーク帯域を小さく抑え、映像に用いられる帯域量を大きくできるため、映像品質が改善する。
(第2の実施形態)
本実施形態では、映像符号化部101から出力される統計情報に基づき、最適なFEC強度を導出することを想定する。なお、通信システム1000において、第1の実施形態と異なる点について主に説明し、同一の構成部については説明を省略又は簡略化する。
本実施形態では、映像符号化部101から出力される統計情報に基づき、最適なFEC強度を導出することを想定する。なお、通信システム1000において、第1の実施形態と異なる点について主に説明し、同一の構成部については説明を省略又は簡略化する。
図15は、本実施形態の送信装置100Bの構成例を示すブロック図である。
送信装置100Bは、映像符号化部101の代わりに映像符号化部101Bを備え、パケット化部102の代わりにパケット化部102Bを備え、冗長度導出部106の代わりに冗長度導出部106Bを備える。また、図16に示すように、冗長度導出部106Bは、累積密度分布学習部108及び品質計算部109を備える。
送信装置100Bは、映像符号化部101の代わりに映像符号化部101Bを備え、パケット化部102の代わりにパケット化部102Bを備え、冗長度導出部106の代わりに冗長度導出部106Bを備える。また、図16に示すように、冗長度導出部106Bは、累積密度分布学習部108及び品質計算部109を備える。
受信装置200については、第1の実施形態と同様であるので、説明を省略する。
映像符号化部101Bは、映像符号化部101と同様の機能を有する。また、映像符号化部101Bは、例えばIPネットワーク300のネットワーク帯域に応じて、映像エンコードのパラメータを変更する。従って、映像フレームあたりのパケット数Kの発生確率の分布が変動する。
映像エンコードレートが変更されると、1ピクチャあたりのパケット数分布も変化する。図17は、IPネットワーク300における最大のネットワーク帯域(伝送レート)が変化したときの1ピクチャあたりのパケット数と累積密度の分布の変化例を示す。図17では、最大の伝送レートが512kbps〜9.0Mbpsの範囲におけるパケット数分布の変化例を示している。伝送レートが大きな値である程、より高解像度もしくは,より大きいフレームレートの映像を伝送できるため、比較的大きなパケット数(K)の発生確率が高くなる。
パケット化部102Bは、映像符号化部101により符号化された映像フレームを所定のパケットサイズにパケット化する。また、パケット化部102Bは、1ピクチャあたりの映像データパケット数を、冗長度導出部106Bの累積密度分布学習部108へ出力する。
冗長度導出部106Bの累積密度分布学習部108は、パケット化部102Bから入力される1ピクチャあたりの映像データパケット数の情報を統計情報として蓄積し、各Kの発生確率(PK_event)を導出する。この各Kの発生確率の情報は,累積密度分布学習部108に格納される。
また、本実施形態におけるFEC強度導出テーブル109Aは,IPネットワーク300のパケット損失率(Ploss)の場合の(K、Str)におけるFEC復号後のパケット損失率(Ploss_K_Str)をテーブル化したものである.また,FEC強度導出テーブル109Aは,品質計算部109に格納される。
FEC強度導出テーブル109Aの一例を、図18〜図20に示す。図18はIPネットワーク300のパケット損失率が1%の条件下におけるFEC強度導出テーブル109Aの一例を示す図である。図19はIPネットワーク300のパケット損失率が2%の条件下におけるFEC強度導出テーブル109Aの一例を示す図である。図20はIPネットワーク300のパケット損失率が3%の条件下におけるFEC強度導出テーブル109Aの一例を示す図である。
冗長度導出部106Bの品質計算部109は、FEC強度導出テーブル109Aを参照し、累積密度分布学習部108からの各Kの発生確率と、レート制御部107からのIPネットワーク300のパケット損失率に基づいて、最適なFEC強度を導出する。すなわち、品質計算部109は、目標品質を達成できるFEC復号後のパケット損失率を実現できるFEC強度がいくつであるか、(式1)により導出する。品質計算部109は、導出結果としてのFEC強度をレート制御部107へ出力する。
例えば、品質計算部109は、パケット損失率が1%であれば、図18のFEC強度導出テーブル109Aを参照して、学習された各Kの発生確率に基づき、(式1)により最適なFEC強度を導出する。
従って、品質計算部109は、(式1)のPK_eventとして、予め取得された値ではなく、通信中のパケット化部102Bから出力される1ピクチャあたりの映像データパケット数の統計情報を利用する。つまり、本実施形態では、PK_eventの統計情報は、受信装置200との通信中に通信状況に応じて、累積密度分布学習部108により逐次更新される。
このように、送信装置100Bは、1ピクチャK個である事象の発生確率(PK_event)は、通信中の映像エンコーダから出力される統計情報から導出した結果とする。すなわち、冗長度導出部106Bは、パケット化部102Bによりパケットが生成される場合に、1ピクチャあたりのパケット数に基づいて、パケット数の発生確率を更新する。
送信装置100Bによれば、受信装置200との通信中に映像エンコーダパラメータが変化し、1ピクチャあたりK個である事象の発生確率(PK_event)の統計情報が変化する場合でも、全体のFECパケットに用いられるネットワーク帯域を小さく抑えられる。また、映像データパケットに用いられるネットワーク帯域量を大きくすることにより、映像品質を改善できる。このように、通信中に映像エンコーダパラメータが変化し、1ピクチャK個である事象の発生確率(PK_event)の統計情報が変化した場合にも、FEC強度を好適に算出できる。
本開示は、上記実施形態の構成に限られるものではなく、特許請求の範囲において示した機能、または上記実施形態の構成が持つ機能が達成できる構成であれば、どのようなものであっても適用可能である。
上記実施形態では、冗長度導出部106又は106Bは、全Kに対する発生確率と、全Kに対するFEC復号後のパケット損失率と、の積を導出することを説明した。この代わり、全K(例えばK=1〜31)ではなく、Kmax以下の範囲(例えばK=1〜10)における計算結果で代用してもよい。
これは、各Kの発生確率がKの所定範囲に偏っており、FEC復号後のパケット損失率において支配的となるのが、主にKが小さい部分における結果だからである。例えば、表2のFEC強度=30において、K=1〜10までの(式1)の計算結果:5.17×10−4であり、全体(k=1〜31)の(式1)の計算結果:5.65*10−4とほぼ近似している。この場合のKmaxを10としてもよい。
さらに、上限としてのKmaxの代わりに、又はKmaxとともに、下限としてのKminを設定してもよい。
このように、冗長度導出部106又は106Bは、全体にわたるパケット数の情報を用いるのではなく、所定範囲のパケット数の発生確率及びFEC復号後のパケット損失率に基づいて、FECパケットの割合を導出してもよい。所定範囲は、例えば、K≦Kmax、又はKmin≦K≦Kmaxである。
これにより、全統計情報(例えば全K)に対するFEC復号後のパケット損失率を導出に要する(式1)の計算量と比較すると、計算量を抑制できる。また、計算量を抑制できるので、送信装置100Bによる処理時間を短縮できる。
また、上記の所定範囲は、予め定められていてもよい。これにより、計算量を抑制できる。
また、冗長度導出部106又は106Bは、事前に取り決められたKmaxではなく、蓄積された1ピクチャあたりの映像データパケット数の統計情報に基づいて、Kmaxを決定してもよい。例えば、Kmaxの値として、発生確率の累積分布が85%以上となる値としてもよい。この場合、図10のような各Kの発生確率を想定すると、冗長度導出部106又は106Bは、Kmax=10に決定する。
このように、冗長度導出部106又は106Bは、上記の所定範囲を、各パケット数の発生確率の分布に基づいて導出してもよい。これにより、FEC復号後のパケット損失率の導出にかかる(式1)の計算量を抑制し、例えば映像エンコーダ又は入力映像の変化にも好適に対応可能なFEC強度を導出できる。
上記実施形態では、映像に関して符号化、パケット化することを例示したが、他のデータを符号化、パケット化してもよい。
上記実施形態では、FEC符号としてLDPC符号を用いた場合を主に説明したが、他の誤り訂正符号(例えばリードソロモン符号)を用いてもよい。
上記実施形態では、図11,図12において、FEC復号後のパケット損失率は再送なしであることを前提条件として例示したが、再送ありの条件下において再送込みのFEC復号後のパケット損失率を用いてもよい。
上記実施形態では、図11,図12において、FEC強度の刻みを10刻みとすることを例示したが、これ以外の値でもよい。例えば1刻みにおいてFEC強度導出テーブルを保持している場合、条件を満たす最小のFEC強度が1刻みで導出される。
上記実施形態では、本開示をハードウェアによって構成する場合を例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。
また、上記実施形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしてもよいし、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称してもよい。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。例えば、LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、LSI内部の回路セルの接続、又は、設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
(開示の一態様の概要)
本開示の第1の送信装置は、
パケットを受信装置へ送信する送信部と、
前記パケットの発生確率の分布に基づいて、前記受信装置における復号処理後のパケット損失率である第1のパケット損失率の期待値が所定品質を満たすよう、前記送信部により送信されるFECパケットの割合を導出する冗長度導出部と、
を備える。
本開示の第1の送信装置は、
パケットを受信装置へ送信する送信部と、
前記パケットの発生確率の分布に基づいて、前記受信装置における復号処理後のパケット損失率である第1のパケット損失率の期待値が所定品質を満たすよう、前記送信部により送信されるFECパケットの割合を導出する冗長度導出部と、
を備える。
本開示の第2の送信装置は、第1の送信装置であって、
符号化フレームからパケットを生成するパケット化部を備え、
前記冗長度導出部は、前記符号化フレームあたりの各パケット数の発生確率と、各パケット数の場合の各第1のパケット損失率と、に基づいて、前記FECパケットの割合を導出する。
符号化フレームからパケットを生成するパケット化部を備え、
前記冗長度導出部は、前記符号化フレームあたりの各パケット数の発生確率と、各パケット数の場合の各第1のパケット損失率と、に基づいて、前記FECパケットの割合を導出する。
本開示の第3の送信装置は、第2の送信装置であって、
前記冗長度導出部は、当該送信装置及び前記受信装置を含むネットワークにおけるパケット損失率である第2のパケット損失率に基づいて、前記FECパケットの割合を導出する。
前記冗長度導出部は、当該送信装置及び前記受信装置を含むネットワークにおけるパケット損失率である第2のパケット損失率に基づいて、前記FECパケットの割合を導出する。
本開示の第4の送信装置は、第2または第3の送信装置であって、
各パケット数の発生確率は、予め定められている。
各パケット数の発生確率は、予め定められている。
本開示の第5の送信装置は、第2または第3の送信装置であって、
前記冗長度導出部は、前記パケット生成部により生成された前記符号化フレームあたりのパケット数に基づいて、前記パケット数の発生確率を更新する。
前記冗長度導出部は、前記パケット生成部により生成された前記符号化フレームあたりのパケット数に基づいて、前記パケット数の発生確率を更新する。
本開示の第6の送信装置は、第2乃至第5のいずれか1つの送信装置であって、
前記冗長度導出部は、前記符号化フレームから生成されるパケットのパケット数のうち、所定範囲の各パケット数の発生確率と、前記所定範囲の各パケット数の場合の各第1のパケット損失率と、に基づいて、前記FECパケットの割合を導出する。
前記冗長度導出部は、前記符号化フレームから生成されるパケットのパケット数のうち、所定範囲の各パケット数の発生確率と、前記所定範囲の各パケット数の場合の各第1のパケット損失率と、に基づいて、前記FECパケットの割合を導出する。
本開示の第7の送信装置は、第6の送信装置であって、
前記パケット数の前記所定範囲は、予め定められている。
前記パケット数の前記所定範囲は、予め定められている。
本開示の第8の送信装置は、第6の送信装置であって、
前記冗長度導出部は、前記パケット数の前記所定範囲を、各パケット数の発生確率の分布に基づいて導出する。
前記冗長度導出部は、前記パケット数の前記所定範囲を、各パケット数の発生確率の分布に基づいて導出する。
本開示の通信システムは、
送信装置及び受信装置がネットワークを介して接続された通信システムであって、
前記送信装置は、
前記受信装置からの前記ネットワークのパケット損失率の情報を受信する第1受信部と、
前記パケットの発生確率の分布及び前記ネットワークのパケット損失率に基づいて、前記受信装置における復号処理後のパケット損失率である第1のパケット損失率の期待値が所定品質を満たすよう、前記送信部により送信されるFECパケットの割合を導出する冗長度導出部と、
パケットを前記受信装置へ送信する第1送信部と、
を備え、
前記受信装置は、
前記送信装置からのパケットを受信する第2受信部と、
前記受信部により受信されたパケットに基づいて、前記ネットワークのパケット損失率を測定する回線品質測定部と、
前記回線品質測定部により測定されたパケット損失率の情報を前記送信装置へ送信する第2送信部と、
を備える通信システム。
送信装置及び受信装置がネットワークを介して接続された通信システムであって、
前記送信装置は、
前記受信装置からの前記ネットワークのパケット損失率の情報を受信する第1受信部と、
前記パケットの発生確率の分布及び前記ネットワークのパケット損失率に基づいて、前記受信装置における復号処理後のパケット損失率である第1のパケット損失率の期待値が所定品質を満たすよう、前記送信部により送信されるFECパケットの割合を導出する冗長度導出部と、
パケットを前記受信装置へ送信する第1送信部と、
を備え、
前記受信装置は、
前記送信装置からのパケットを受信する第2受信部と、
前記受信部により受信されたパケットに基づいて、前記ネットワークのパケット損失率を測定する回線品質測定部と、
前記回線品質測定部により測定されたパケット損失率の情報を前記送信装置へ送信する第2送信部と、
を備える通信システム。
本開示の送信方法は、
パケットを受信装置へ送信する送信ステップと、
前記パケットの発生確率の分布に基づいて、前記受信装置における復号処理後のパケット損失率である第1のパケット損失率の期待値が所定品質を満たすよう、前記送信されるFECパケットの割合を導出するステップと、
を有する。
パケットを受信装置へ送信する送信ステップと、
前記パケットの発生確率の分布に基づいて、前記受信装置における復号処理後のパケット損失率である第1のパケット損失率の期待値が所定品質を満たすよう、前記送信されるFECパケットの割合を導出するステップと、
を有する。
本開示は、パケット損失を好適に回復できる送信装置、通信システム、及び送信方法等に有用である。
1000 通信システム
100,100B 送信装置
101,101B 映像符号化部
102,102B パケット化部
103 FEC符号化部
104 RTP送信部
105 RTCP受信部
106,106B 冗長度導出部
106A FEC強度導出テーブル
107 レート制御部
108 累積分布学習部
109 品質計算部
109A FEC強度導出テーブル
200 受信装置
201 RTP受信部
202 FEC復号部
203 映像復号部
204 回線品質測定部
205 RTCP送信部
300 IPネットワーク
100,100B 送信装置
101,101B 映像符号化部
102,102B パケット化部
103 FEC符号化部
104 RTP送信部
105 RTCP受信部
106,106B 冗長度導出部
106A FEC強度導出テーブル
107 レート制御部
108 累積分布学習部
109 品質計算部
109A FEC強度導出テーブル
200 受信装置
201 RTP受信部
202 FEC復号部
203 映像復号部
204 回線品質測定部
205 RTCP送信部
300 IPネットワーク
Claims (10)
- パケットを受信装置へ送信する送信部と、
前記パケットの発生確率の分布に基づいて、前記受信装置における復号処理後のパケット損失率である第1のパケット損失率の期待値が所定品質を満たすよう、前記送信部により送信されるFECパケットの割合を導出する冗長度導出部と、
を備える送信装置。 - 請求項1に記載の送信装置であって、更に、
符号化フレームからパケットを生成するパケット化部を備え、
前記冗長度導出部は、前記符号化フレームあたりの各パケット数の発生確率と、各パケット数の場合の各第1のパケット損失率と、に基づいて、前記FECパケットの割合を導出する送信装置。 - 請求項2に記載の送信装置であって、
前記冗長度導出部は、当該送信装置及び前記受信装置を含むネットワークにおけるパケット損失率である第2のパケット損失率に基づいて、前記FECパケットの割合を導出する送信装置。 - 請求項2または3に記載の送信装置であって、
各パケット数の発生確率は、予め定められた送信装置。 - 請求項2または3に記載の送信装置であって、
前記冗長度導出部は、前記パケット生成部により生成された前記符号化フレームあたりのパケット数に基づいて、前記パケット数の発生確率を更新する送信装置。 - 請求項2ない5のいずれか1項に記載の送信装置であって、
前記冗長度導出部は、前記符号化フレームから生成されるパケットのパケット数のうち、所定範囲の各パケット数の発生確率と、前記所定範囲の各パケット数の場合の各第1のパケット損失率と、に基づいて、前記FECパケットの割合を導出する送信装置。 - 請求項6のいずれか1項に記載の送信装置であって、
前記パケット数の前記所定範囲は、予め定められた送信装置。 - 請求項6のいずれか1項に記載の送信装置であって、
前記冗長度導出部は、前記パケット数の前記所定範囲を、各パケット数の発生確率の分布に基づいて導出する送信装置。 - 送信装置及び受信装置がネットワークを介して接続された通信システムであって、
前記送信装置は、
前記受信装置からの前記ネットワークのパケット損失率の情報を受信する第1受信部と、
前記パケットの発生確率の分布及び前記ネットワークのパケット損失率に基づいて、前記受信装置における復号処理後のパケット損失率である第1のパケット損失率の期待値が所定品質を満たすよう、前記送信部により送信されるFECパケットの割合を導出する冗長度導出部と、
パケットを前記受信装置へ送信する第1送信部と、
を備え、
前記受信装置は、
前記送信装置からのパケットを受信する第2受信部と、
前記受信部により受信されたパケットに基づいて、前記ネットワークのパケット損失率を測定する回線品質測定部と、
前記回線品質測定部により測定されたパケット損失率の情報を前記送信装置へ送信する第2送信部と、
を備える通信システム。 - パケットを受信装置へ送信する送信ステップと、
前記パケットの発生確率の分布に基づいて、前記受信装置における復号処理後のパケット損失率である第1のパケット損失率の期待値が所定品質を満たすよう、前記送信されるFECパケットの割合を導出するステップと、
を有する送信方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012143437A JP2014007664A (ja) | 2012-06-26 | 2012-06-26 | 送信装置、通信システム、及び送信方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012143437A JP2014007664A (ja) | 2012-06-26 | 2012-06-26 | 送信装置、通信システム、及び送信方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014007664A true JP2014007664A (ja) | 2014-01-16 |
Family
ID=50105013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012143437A Pending JP2014007664A (ja) | 2012-06-26 | 2012-06-26 | 送信装置、通信システム、及び送信方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014007664A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110876066A (zh) * | 2018-09-03 | 2020-03-10 | ***通信有限公司研究院 | 一种自适应前向纠错方法、装置、介质和设备 |
US20220059101A1 (en) * | 2019-11-27 | 2022-02-24 | Tencent Technology (Shenzhen) Company Limited | Voice processing method and apparatus, computer-readable storage medium, and computer device |
-
2012
- 2012-06-26 JP JP2012143437A patent/JP2014007664A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110876066A (zh) * | 2018-09-03 | 2020-03-10 | ***通信有限公司研究院 | 一种自适应前向纠错方法、装置、介质和设备 |
US20220059101A1 (en) * | 2019-11-27 | 2022-02-24 | Tencent Technology (Shenzhen) Company Limited | Voice processing method and apparatus, computer-readable storage medium, and computer device |
US11869516B2 (en) * | 2019-11-27 | 2024-01-09 | Tencent Technology (Shenzhen) Company Limited | Voice processing method and apparatus, computer- readable storage medium, and computer device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2810180B1 (en) | Multi-path data transfer using network coding | |
CN104159166B (zh) | 基于移动网络丢包状态的直播视频数据传输差错控制方法 | |
JP4513725B2 (ja) | パケット送信装置、通信システム及びプログラム | |
KR100736801B1 (ko) | 손실이 많은 패킷에 근거한 네트워크를 통해 비디오를전송하기 위한 동적 하이브리드 패킷 손실 복구 방법 및시스템 | |
JP5991598B2 (ja) | データ処理装置及びデータ処理方法 | |
CN110855402A (zh) | 一种网络实时视频传输方法及装置 | |
CN108174234A (zh) | 一种流媒体传输方法及*** | |
US10320520B2 (en) | Communication device, system and method | |
CN106658223B (zh) | 一种长期演进lte网络下的视频上行传输方法及装置 | |
US20170034545A1 (en) | Contolled adaptive rate switching system and method for media streaming over ip networks | |
JP2005136546A (ja) | 送信装置および方法、記録媒体、並びにプログラム | |
CN110557677A (zh) | 一种视频传输的方法及装置 | |
US9331815B2 (en) | Transmission device, reception device, transmission method, and reception method | |
JP2010119133A (ja) | パケット送信装置、通信システム及びプログラム | |
US9379845B2 (en) | Transmission device, reception device, transmission method, and reception method | |
KR100851918B1 (ko) | 네트워크 적응형 데이터 전송 방법, 이를 위한 데이터 전송시스템, 데이터 송신 장치, 및 데이터 수신 장치 | |
US8799749B2 (en) | Ad-hoc multimedia group communication terminal robust to packet loss and method of operating the same | |
JP2014093584A (ja) | 送信装置、送信方法、受信装置、受信方法およびコンピュータプログラム | |
JP2014007664A (ja) | 送信装置、通信システム、及び送信方法 | |
KR101953580B1 (ko) | 영상회의 시스템에서 데이터 송수신 장치 및 방법 | |
US8948252B2 (en) | Moving picture transmission apparatus, moving picture transmission system, moving picture transmission method, and program | |
US20110206022A1 (en) | QoS WIRELESS NETWORKING FOR HOME ENTERTAINMENT | |
JP5682292B2 (ja) | 映像配信装置及び映像配信方法 | |
WO2021164405A1 (zh) | 数据编解码方法、相关设备及*** | |
JP2011172153A (ja) | メディア符号化伝送装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131225 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150116 |