JP5890208B2 - パケット送信装置、パケット受信装置及びパケット伝送システム - Google Patents
パケット送信装置、パケット受信装置及びパケット伝送システム Download PDFInfo
- Publication number
- JP5890208B2 JP5890208B2 JP2012056722A JP2012056722A JP5890208B2 JP 5890208 B2 JP5890208 B2 JP 5890208B2 JP 2012056722 A JP2012056722 A JP 2012056722A JP 2012056722 A JP2012056722 A JP 2012056722A JP 5890208 B2 JP5890208 B2 JP 5890208B2
- Authority
- JP
- Japan
- Prior art keywords
- packet
- fec
- source
- cts
- time stamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims description 86
- 238000012545 processing Methods 0.000 claims description 80
- 238000000034 method Methods 0.000 claims description 50
- 230000000903 blocking effect Effects 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 10
- 230000005236 sound signal Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 239000000872 buffer Substances 0.000 description 31
- 230000003139 buffering effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Television Systems (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Communication Control (AREA)
Description
ブロック化遅延は、一定数のソースパケットを集め、AL−FECブロックを構成するときの遅延である。
AL−FEC復元処理の遅延は、プロセッサが演算によって、冗長パケットを生成し、ロスしたソースパケットを復元するときの遅延である。
バッファリング遅延は、AL−FEC復元処理と、映像や音声等のメディア処理(デコード)とを接続するときの遅延、つまり、ソースパケットを取り出した後、メディア処理を行うまでの待ち時間に起因する遅延である。
本願第1,4,5発明によれば、パケット送信装置がAL−FEC復元処理を行うタイミングをパケット受信装置に指示し、パケット受信装置がそのタイミングでAL−FEC復元処理を行う。これによって、本願第1,4,5発明によれば、AL−FEC復元処理と、映像信号や音声信号のデコード処理とのタイミングを連携させ、スタートアップ遅延を抑制することができる。
本願第3発明によれば、パケット受信装置でのAL−FEC復元処理の遅延を考慮して、そのタイミングをパケット受信装置に指示し、スタートアップ遅延を最小限にすることができる。
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図1に示すように、本発明の実施形態に係るパケット伝送システム100は、AL−FEC技術を用いてストリーミング配信を行うものであり、パケット送信装置1と、パケット受信装置2とを備える。
本実施形態では、パケット伝送システム100が、パケット送信装置1及びパケット受信装置2を1台ずつ備える。
以下、パケット送信装置1の構成について説明する。
パケット送信装置1は、入力信号をエンコードすると共に、AL−FEC処理を施してパケット受信装置2に送信するものである。このため、パケット送信装置1は、AVエンコーダ(エンコーダ)11と、多重化手段(ソースパケット生成手段)12と、ブロック化手段13と、AL−FEC処理手段14と、タイムスタンプ付加手段15と、送信手段16とを備える。
DTSは、復号する時刻を示す情報である。
アクセスユニットは、DTSが同一となる符号(入力信号)の集合である。
具体的には、多重化手段12は、入力された映像及び音声のアクセスユニットを、各アクセスユニット単位でメディアユニット(MU:Media Unit)形式でパケット化する。また、多重化手段12は、ATS(Advanced Transport Scheme)等の多重化方式を用いて、MUパケット化された映像及び音声のアクセスユニットが、1つのメディアユニット列となるように多重化する。
このAL−FECブロックは、後記するAL−FEC処理及びAL−FEC復元処理を行うために生成するブロックである。
このAL−FEC処理は、AL−FECブロックから冗長パケットを生成する処理であり、例えば、XOR演算である。
図2,図3を参照して、AL−FEC処理手段14による冗長パケット92の生成について、2つの具体例を説明する(適宜図1参照)。
この図2,図3では、説明を簡易にするため、ソースパケット91及び冗長パケット92のペイロードPy以外の図示を省略した。
この第1例では、図2に示すように、列方向(一次元方向)に配列されたM個のソースパケット91でAL−FECブロックが構成されている(但し、M≧2を満たす任意の整数)。
この第2例では、図3に示すように、列方向にM個、行方向にN個のソースパケット91が二次元方向に配列されてAL−FECブロック90が構成されている(但し、N≧2を満たす任意の整数)。
なお、AL−FEC処理手段14は、第1例又は第2例の何れを用いるか、予め設定される。
タイムスタンプ付加手段15は、AL−FEC処理手段14からAL−FECブロック90が入力され、同一のAL−FECブロック90に含まれるソースパケット91のペイロードPyに格納されたアクセスユニットから、最も早い時刻となるCTS又はDTSを抽出するものである。そして、タイムスタンプ付加手段15は、抽出したCTS又はDTSに基づいて、同一のAL−FECブロック90から生成された冗長パケット92に、AL−FEC復元処理の開始時刻を示すタイムスタンプを付加する。
図4を参照して、タイムスタンプ付加手段15によるタイムスタンプTsの付加について、具体的に説明する(適宜図1参照)。
この図4には、2個のAL−FECブロック90を図示した。各AL−FECブロック90は、50個のソースパケット91と、10個の冗長パケット92とで構成される。
また、ソースパケット91のシーケンス番号Snと冗長パケット92のシーケンス番号Snは、番号体系が異なるために連続していない。
なお、2個目のAL−FECブロック90も1個目と同様にタイムスタンプTsを付加するため、説明を省略する。
送信手段16は、タイムスタンプ付加手段15からソースパケット91及び冗長パケット92が入力され、ネットワークNを介して、このソースパケット91及び冗長パケット92をパケット受信装置2に送信するものである。
図1,図5を参照し、パケット受信装置2の構成について説明する。
パケット受信装置2は、パケット送信装置1からソースパケット91及び冗長パケット92を受信し、ロスしたソースパケット91をAL−FEC復元処理で復元し、ソースパケット91に含まれるアクセスユニットをデコードするものである。
具体的には、受信手段21は、ネットワークNに応じた復調処理及び伝送路復号処理を行ってIPパケットを受信し、バッファ(IP pkt buffer)21aに蓄積する。
具体的には、ブロック化手段22は、バッファ21aに蓄積されたIPパケットからIPヘッダ及びUDPヘッダを取り除き、ソースパケット91及び冗長パケット92を抽出してバッファ22aに蓄積する。
具体的には、パケットロス検出手段23は、各AL−FECブロック90に含まれるソースパケット91のシーケンス番号Snの欠番により、パケットロスを検出する。つまり、パケットロス検出手段23は、欠番したシーケンス番号Snのソースパケット91がロスしたとして検出する。
このAL−FEC処理は、AL−FECブロック90からロスしたソースパケットを復元する処理であり、例えば、XOR演算である。
なお、AL−FEC復元処理手段24は、AL−FECブロック90でパケットロスが検出されなかった場合、AL−FECブロック90に含まれるソースパケット91のみをバッファ25aに蓄積する。
なお、AVデコーダ26は、アクセスユニットにCTSだけが付加されている場合、DTS及びCTSを同一時刻として扱う。
図6を参照して、パケット送信装置1の動作について説明する(適宜図1参照)。
パケット送信装置1は、AVエンコーダ11によって、入力信号をエンコードして、映像のアクセスユニットと、音声のアクセスユニットとを生成する(ステップS11)。
パケット送信装置1は、ブロック化手段13によって、ソースパケットの集合であるAL−FECブロックを生成する(ステップS13)。
パケット送信装置1は、AL−FEC処理手段14によって、AL−FECブロックにAL−FEC処理を施すことで、冗長パケットを生成する(ステップS14)。
図7を参照して、パケット受信装置2の動作について説明する(適宜図1参照)。
パケット受信装置2は、受信手段21によって、ネットワークNを介して、パケット送信装置1からソースパケット91と、タイムスタンプTsが付加された冗長パケット92とを、IPパケットとして、受信する(ステップS21)。
ここで、パケットロスが検出された場合(ステップS23でYes)、パケット受信装置2は、ステップS24の処理に進む。
一方、パケットロスが検出されない場合(ステップS23でNo)、パケット受信装置2は、ステップS25の処理に進む。
パケット受信装置2は、AVデコーダ26によって、多重分離手段25で分離された映像のアクセスユニットと、音声のアクセスユニットとをデコードする(ステップS26)。
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲で実施することができる。実施形態の変形例を以下に示す。
また、パケット送信装置1は、同一のAL−FECブロック90に含まれるソースパケット91と冗長パケット92との間で、連続したシーケンス番号Snを付加してもよい。
また、パケット伝送システム100は、パケット送信装置1を2台以上備えてもよく、パケット受信装置2を2台以上備えてもよい。
11 AVエンコーダ(エンコーダ)
12 多重化手段(ソースパケット生成手段)
13 ブロック化手段
14 AL−FEC処理手段
15 タイムスタンプ付加手段
16 送信手段
2 パケット受信装置
21 受信手段
22 ブロック化手段
23 パケットロス検出手段
24 AL−FEC復元処理手段
25 多重分離手段
26 AVデコーダ(デコーダ)
100 パケット伝送システム
Claims (5)
- 提示又は再生する時刻を示すCTSが用いられるエンコード方式によって、映像信号又は音声信号の少なくとも一方が含まれる入力信号をエンコードすると共に、AL−FECブロック処理を施して送信するパケット送信装置であって、
前記入力信号を前記エンコード方式によってエンコードすることで、前記CTSが付加されたアクセスユニットを生成するエンコーダと、
前記アクセスユニットがペイロードに格納されたソースパケットを生成するソースパケット生成手段と、
前記ソースパケットの集合であるAL−FECブロックを生成するブロック化手段と、
生成した前記AL−FECブロックにAL−FEC処理を施すことで、前記ソースパケットを復元するための冗長パケットを生成するAL−FEC処理手段と、
同一の前記AL−FECブロックに含まれるソースパケットのペイロードに格納されたアクセスユニットから、最も早い時刻となるCTSを抽出し、抽出した前記CTSに基づいて、前記同一のAL−FECブロックから生成された冗長パケットに、AL−FEC復元処理の開始時刻を示すタイムスタンプを付加するタイムスタンプ付加手段と、
前記ソースパケットと、前記開始時刻が付加された冗長パケットとを送信する送信手段と、
を備えることを特徴とするパケット送信装置。 - 前記エンコーダは、前記CTSと共に、復号する時刻を示すDTSが用いられる前記エンコード方式を用いて、前記CTS及び前記DTSが付加されたアクセスユニットを生成し、
前記タイムスタンプ付加手段は、前記同一のAL−FECブロックに含まれるソースパケットのペイロードに格納されたアクセスユニットから、最も早い時刻となるCTS又はDTSを抽出し、抽出した前記CTS又はDTSに基づいて、前記タイムスタンプを付加することを特徴とする請求項1に記載のパケット送信装置。 - 前記タイムスタンプ付加手段は、前記抽出したCTS又はDTSが示す時刻、又は、前記抽出したCTS又はDTSから予め設定された値だけ前の時刻を、前記タイムスタンプとして前記冗長パケットに付加することを特徴とする請求項2に記載のパケット送信装置。
- 請求項1に記載のパケット送信装置から、アクセスユニットがペイロードに格納されたソースパケットと、前記ソースパケットを復元するための冗長パケットとを受信するパケット受信装置であって、
前記ソースパケットと、AL−FEC復元処理の開始時刻を示すタイムスタンプが付加された前記冗長パケットとを受信する受信手段と、
同一の前記タイムスタンプを有する冗長パケットと、前記ソースパケットとの集合であるAL−FECブロックを生成するブロック化手段と、
前記AL−FECブロックごとに、パケットロスを検出するパケットロス検出手段と、
前記パケットロスが検出されたとき、前記冗長パケットのタイムスタンプが示す時刻において、前記AL−FECブロックに前記AL−FEC復元処理を施すことで、前記パケットロスが発生したソースパケットを復元するAL−FEC復元処理手段と、
前記受信手段が受信したソースパケットと、前記AL−FEC復元処理手段が復元したソースパケットとのペイロードに格納されたアクセスユニットをデコードするデコーダと、
を備えることを特徴とするパケット受信装置。 - 請求項1に記載のパケット送信装置と、
請求項4に記載のパケット受信装置と、
を備えることを特徴とするパケット伝送システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012056722A JP5890208B2 (ja) | 2012-03-14 | 2012-03-14 | パケット送信装置、パケット受信装置及びパケット伝送システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012056722A JP5890208B2 (ja) | 2012-03-14 | 2012-03-14 | パケット送信装置、パケット受信装置及びパケット伝送システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016027544A Division JP6101380B2 (ja) | 2016-02-17 | 2016-02-17 | パケット受信装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013192031A JP2013192031A (ja) | 2013-09-26 |
JP5890208B2 true JP5890208B2 (ja) | 2016-03-22 |
Family
ID=49391884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012056722A Active JP5890208B2 (ja) | 2012-03-14 | 2012-03-14 | パケット送信装置、パケット受信装置及びパケット伝送システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5890208B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7010877B2 (ja) | 2019-04-25 | 2022-01-26 | ファナック株式会社 | 機械学習装置、数値制御システム及び機械学習方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3972135B1 (en) | 2013-07-18 | 2023-12-20 | Samsung Electronics Co., Ltd. | Apparatus and method for sending/receiving packet in multimedia communication system |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4366102B2 (ja) * | 2002-05-01 | 2009-11-18 | キヤノン株式会社 | メディアデータ処理装置及びその方法 |
US20060007943A1 (en) * | 2004-07-07 | 2006-01-12 | Fellman Ronald D | Method and system for providing site independent real-time multimedia transport over packet-switched networks |
JP2008011096A (ja) * | 2006-06-28 | 2008-01-17 | Toshiba Corp | Fecエンコード方法、fecデコード方法、fecデコード装置 |
JP5380862B2 (ja) * | 2008-03-05 | 2014-01-08 | 日本電気株式会社 | Ipストリーム送受信システム、ipストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法 |
US20100263007A1 (en) * | 2009-04-09 | 2010-10-14 | Jinyun Zhang | Method and Apparatus for Increasing Quality of IPTV Transmission |
US8839078B2 (en) * | 2010-03-05 | 2014-09-16 | Samsung Electronics Co., Ltd. | Application layer FEC framework for WiGig |
-
2012
- 2012-03-14 JP JP2012056722A patent/JP5890208B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7010877B2 (ja) | 2019-04-25 | 2022-01-26 | ファナック株式会社 | 機械学習装置、数値制御システム及び機械学習方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2013192031A (ja) | 2013-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4475235B2 (ja) | コンテンツの符号化、配信及び受信方法と装置とシステムならびにプログラム | |
KR100634946B1 (ko) | 패킷 에러 정정 장치 및 방법 | |
JP4405875B2 (ja) | エラー訂正用データの生成方法及び生成装置並びに生成プログラム及び同プログラムを格納したコンピュータ読み取り可能な記録媒体 | |
JP2018182763A (ja) | データ送信方法、データ再生方法、データ送信装置およびデータ再生装置 | |
US20060291475A1 (en) | Selective forward error correction | |
JP2007288342A (ja) | メディアストリーム中継装置および方法 | |
JP4041137B2 (ja) | 映像符号化・送信装置,映像符号化・送信方法,映像符号化・送信プログラムおよびその記録媒体 | |
JPWO2005050346A1 (ja) | コンテンツ配信及び受信装置,コンテンツ送受信システム,コンテンツ配信及び受信方法,コンテンツ配信及び受信用プログラム | |
JP2007258796A (ja) | Ip送信装置およびip送信方法 | |
JP6753500B2 (ja) | 受信機器、および復号・提示方法 | |
JP5344541B2 (ja) | データ送信装置、送信方法及びプログラム | |
JP2012165429A (ja) | メディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、及びメディアサーバ | |
JP5890208B2 (ja) | パケット送信装置、パケット受信装置及びパケット伝送システム | |
US10833710B2 (en) | Bandwidth efficient FEC scheme supporting uneven levels of protection | |
JP6101380B2 (ja) | パケット受信装置 | |
JPWO2005074182A1 (ja) | コンテンツの配信方法、エンコード方法及び受信再生方法と装置並びにプログラム | |
JP5998599B2 (ja) | ストリーム送信装置、ストリーム送信方法およびストリーム送信プログラム | |
JP5310892B2 (ja) | デジタル放送方法 | |
JP2010239433A (ja) | 映像符号化装置、方法及びプログラム | |
JP2011199647A (ja) | 誤り訂正符号化装置及び方法及びプログラム及び誤り訂正復号化装置及び方法及びプログラム | |
Lecuire | Unequal error protection under bitrate constraint for video streaming over internet | |
KR20120035819A (ko) | 실시간 부호화 되는 스케일러블 비디오를 다중 송신그룹으로 보내기 위한 소스 버퍼링을 수행하는 시스템 및 방법 | |
JP2010028642A (ja) | 画像伝送システム | |
JP6412741B2 (ja) | 通信装置、通信方法及びプログラム | |
JP4437974B2 (ja) | Tsパケットインタリーバ、tsパケット変換器、ts−ip変換器およびip−ts変換器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140326 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5890208 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |