JP5625776B2 - プログラム、多重化装置及び多重化方法 - Google Patents
プログラム、多重化装置及び多重化方法 Download PDFInfo
- Publication number
- JP5625776B2 JP5625776B2 JP2010252414A JP2010252414A JP5625776B2 JP 5625776 B2 JP5625776 B2 JP 5625776B2 JP 2010252414 A JP2010252414 A JP 2010252414A JP 2010252414 A JP2010252414 A JP 2010252414A JP 5625776 B2 JP5625776 B2 JP 5625776B2
- Authority
- JP
- Japan
- Prior art keywords
- multiplexing
- upper limit
- value
- multiplexing section
- priority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000012545 processing Methods 0.000 claims description 31
- 230000005540 biological transmission Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Time-Division Multiplex Systems (AREA)
Description
図1は、本実施の形態の多重化装置の一例を示す図である。
多重化装置10は、多重化部11、優先度計算部12−1,12−2,…,12−n、選択部13、記憶部14を有している。
また、選択部13は前述の積算値が上限値を超える場合、多重化を行わなくても次の多重化区間での仮想バッファの破綻が起こらないメディアのビットストリームのうち、優先度が最も低いものを選択しない、などの処理を行う。または、選択部13は、前述の積算値が上限値を超える場合、優先度に応じて、多重化区間の終了境界を跨ぐアクセスユニットを有するビットストリームを選択して、選択したビットストリームのアクセスユニットを多重化対象から除外するなどの処理を行う。これにより、多重化後のビットストリームが上限値を超えることが抑制されるとともに、デコードバッファの破綻が防止される。
図2は、多重化装置の動作の一例を示す図である。
ステップS1:優先度計算部12−1〜12−nは、ビットストリームごとに多重化における優先度を算出する。
ステップS3:そして、選択部13は、積算値と上限値との比較結果と、ステップS1の処理で算出された優先度をもとに、多重化するビットストリームを選択する。
このような、上限値と優先度を考慮した多重化処理を行うことで、多重化後のビットストリームがビットレートの上限を超えることが抑制されるとともに、デコードバッファの破綻が防止される。
(優先度算出処理の一例)
図3は、ビットストリームの多重化区間とアクセスユニットの一例を示す図である。
ステップS10:各アクセスユニットは発生情報量が一定とは限らない。そのため、優先度計算部12−1〜12−nは、ある多重化区間Gcにおいて、メモリ21−1〜21−nから読み出される各ビットストリームに対して、アクセスユニットごとの仮想バッファ量を算出する。たとえば、あるビットストリームにおいて、多重化区間Gcに、i個のアクセスユニットがある場合、仮想バッファ量Buff1〜Buffiが算出される。
ステップS11の処理において、優先度計算部12−1〜12−nは、多重化区間の境界を跨ぐアクセスユニットに対しては、仮想バッファ量が単純増加で推移するとして計算を行う。
上式で、Buffnは、n番目のアクセスユニット自体の仮想バッファ量、Buffoffnはn番目のアクセスユニットでのバッファ引き抜き量である。すなわち、n−1番目のアクセスユニットまでの間に算出した仮想バッファ量の積算値BUFFn-1に、n番目の仮想バッファ量Buffnを加算し、バッファ引き抜き量Buffoffnを減算したものが、新たな仮想バッファ量の積算値BUFFnとなる。
横軸は時間、縦軸は仮想バッファ量を示している。図5では、あるビットストリームにおいて、アクセスユニットU10,U11,U12に多重化区間が設定された場合が示されている。図5に示すように仮想バッファ量が推移する場合、BMAX−BuffMAXより、BuffMINの方が小さい。従って、この場合は、BuffMINがBdiffminとして選択される。なお、BuffMINが小さいということは、この多重化区間においては、多重化を行わないと、仮想バッファのアンダーフローが発生する可能性があることが示される。一方、BMAX−BuffMAXが小さい場合には、その多重化区間においては、多重化を行わないと、仮想バッファからのデータの引き抜きが発生せず、オーバーフローが発生する可能性がある。
(多重化するビットストリームの選択処理及び多重化処理の一例)
図6は、複数のメディアのビットストリームと多重化区間の一例を示す図である。
図7及び図8は、多重化するビットストリームの選択処理及び多重化処理の一例を示すフローチャートである。
最大ビット数Bmaxは、多重化区間Gc1の時間をGct1、多重化区間Gc1でのビットレートの上限をRmax1とすると、Bmax=Rmax1×Gct1、と表される。ここで、時刻情報の減算後の最大ビット数をBmaxsとすると、Bmaxs=Bmax−Btime×(多重化区間Gc1の終了時刻−STCb)/STCgとなる。Btimeは、時刻情報の多重化に要するビット数、STCbは、前回の多重化区間での時刻情報の挿入時刻、STCgは、時刻情報の挿入間隔を示す。
ステップS21:次に選択部13は、多重化区間Gc1の途中から開始または途中で完了となるアクセスユニットがあるか否かを調べ、時刻比でそれらのアクセスユニットのビット数を算出する。たとえば、図6に示した例において、アクセスユニットU21,U24,U36,U40は、多重化区間Gc1の境界を跨いでいる。このようなアクセスユニットに対して、選択部13は、伝送ビットレートが一定であると仮定して、各アクセスユニットのDTSを、DTS=DTS−多重化区間Gc1の開始時刻と更新して、時間比でビット数を算出する。
ステップS26:選択部13は、時刻情報を多重化するビットストリームに挿入する。
ステップS28:たとえば、文字放送用などで用いられるデータ情報は、バッファ規定はないものの、運用規定などにより、一定時刻以内に送りきることが望ましい。
図9では、現在時刻STCc、送信完了予定時刻STCe、全データ情報のビット数Db、既に送信済みのビット数Ddの一例が示されている。ここで、全データ情報を送信完了予定時刻STCeに送信し終わる平均ビットレートをRgすると、Rg=Db/STCeと表せる。また、現在時刻STCcにおいてデータ情報の残りを送信完了予定時刻STCeに送信し終わる平均ビットレートをRrとすると、Rr=(Db−Dd)/(STCe−STCc)と表せる。このとき、たとえば、選択部13は、Rr−Rg>Th(所定の閾値)である場合には、データ情報を多重化する。
ステップS29:修正後の各アクセスユニットのビット数の積算値が、Bmaxsを超える場合、選択部13は、多重化区間の終了境界を跨ぐアクセスユニットがあるか否か判定する。多重化区間の終了境界を跨ぐアクセスユニットがある場合には、ステップS30の処理が行われ、多重化区間の終了境界を跨ぐアクセスユニットがない場合には、ビットレートの上限を超えることを許容して前述のステップS24の処理が行われる。
ステップS30:選択部13は、多重化区間の終了境界を跨ぐアクセスユニットがある場合、該当するアクセスユニットの中から、多重化対象から除外する(ビット数を0にする)候補を優先度に応じて選択する。該当するアクセスユニットが複数ある場合、選択部13は、たとえば、優先度計算部12−1〜12−nで計算された優先度の最も低いビットストリームのアクセスユニットを1つ選択する。
たとえば、上記では、多重化区間のアクセスユニットの情報量の積算値が、Bmaxsを超える場合には、多重化しないアクセスユニットを決定するようにしたが、これに限定されない。たとえば、上記積算値からビットレートを計算し、そのビットレートが、多重化区間におけるビットレートの上限を超える場合には、多重化しないアクセスユニットを選択するようにしてもよい。
また、多重化装置10の各機能を、以下のようなコンピュータで実行されるプログラムにより実現するようにしてもよい。
コンピュータ100は、CPU(Central Processing Unit)101によって装置全体が制御されている。CPU101には、バス109を介してRAM(Random Access Memory)102、ROM103及び複数の周辺機器が接続されている。
また、ROM103には、CPU101が実行する基本的なプログラムやデータを格納する。前述した、バッファモデルの各種の規格値なども、たとえば、ROM103に格納される。
上記のように、本実施の形態の処理機能は、コンピュータによって実現することができる。その場合、多重化装置10が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、HDD、フレキシブルディスク(FD)、磁気テープなどがある。光ディスクには、DVD、DVD−RAM、CD−ROM/RWなどがある。光磁気記録媒体には、MO(Magneto-Optical disk)などがある。
(付記1) 多重化対象の複数のビットストリームそれぞれに対して多重化における優先度を算出し、
多重化区間内の前記複数のビットストリームの情報量の積算値と所定の上限値とを比較し、
前記積算値と前記上限値との比較結果及び前記優先度をもとに、前記複数のビットストリームから多重化するビットストリームを選択する、
処理をコンピュータに実行させるプログラム。
(付記8) 前記優先度の高い順に選択された前記ビットストリームにおいて、デコード開始時刻と、現在時刻の差が所定値以内である場合に、多重化を行うことを特徴とする付記1乃至7の何れか一項に記載のプログラム。
(付記10) 現在時刻と、前回時刻情報を挿入した時刻の差に応じて、前記時刻情報を多重化するか否かを選択することを特徴とする付記1乃至9の何れか一項に記載のプログラム。
多重化区間内の前記複数のビットストリームの情報量の積算値と所定の上限値とを比較し、前記積算値と前記上限値との比較結果及び前記優先度をもとに、前記複数のビットストリームから多重化するビットストリームを選択する選択部と、
を有することを特徴とする多重化装置。
多重化区間内の前記複数のビットストリームの情報量の積算値と所定の上限値とを比較し、
前記積算値と前記上限値との比較結果及び前記優先度をもとに、前記複数のビットストリームから多重化するビットストリームを選択する、ことを特徴とする多重化方法。
11 多重化部
12−1,12−2,…,12−n 優先度計算部
13 選択部
14 記憶部
20−1,20−2,…,20−n 符号化部
21−1,21−2,…,21−n メモリ
Claims (5)
- 多重化対象の複数のビットストリームそれぞれに対して多重化における優先度を算出し、
多重化区間内の前記複数のビットストリームの情報量の積算値と第1の上限値とを比較し、
前記積算値と前記第1の上限値との比較結果及び前記優先度をもとに、前記複数のビットストリームから多重化するビットストリームを選択する際に、
前記積算値が前記第1の上限値を超える場合、前記優先度に応じて、前記多重化区間の終了境界を跨ぐ、受信側のデコーダでのデコード単位を有する前記ビットストリームを選択して、選択した前記ビットストリームの当該デコード単位を多重化対象から除外し、
前記終了境界を跨ぐ前記デコード単位を次の多重化区間内で多重化すると、前記次の多重化区間内における前記積算値が前記第1の上限値を超える場合、前記終了境界を跨ぐ他のビットストリームの他のデコード単位を、前記優先度に応じて選択し、当該他のデコード単位を前記多重化対象から除外し、
前記積算値は、前の多重化区間において、前記多重化対象から除外された前記デコード単位の情報量を含み、
各前記ビットストリームの前記優先度は、前記複数のビットストリームそれぞれに対応して設定される前記デコーダのバッファ量の、前記多重化区間内における最大値と前記バッファ量の第2の上限値との差分と、前記多重化区間における前記バッファ量の最小値のうち、小さい方の値を前記バッファ量の前記第2の上限値で規格化した値であり、
前記第1の上限値は、前記多重化区間のビットレートの上限に前記多重化区間の時間を乗じた値から、前記ビットストリームに含ませる時刻情報の情報量を差し引いた値である、
処理をコンピュータに実行させるプログラム。 - 前記第1の上限値と前記積算値との差分に応じて、多重化するデータ情報の情報量を決定することを特徴とする請求項1に記載のプログラム。
- 前記優先度の高い順に選択された前記ビットストリームにおいて、デコード開始時刻と、現在時刻の差が所定値以内である場合に、多重化を行うことを特徴とする請求項1または2に記載のプログラム。
- 多重化対象の複数のビットストリームそれぞれに対して多重化における優先度を算出する優先度計算部と、
多重化区間内の前記複数のビットストリームの情報量の積算値と第1の上限値とを比較し、前記積算値と前記第1の上限値との比較結果及び前記優先度をもとに、前記複数のビットストリームから多重化するビットストリームを選択する選択部と、を有し、
前記選択部は、
前記積算値が前記第1の上限値を超える場合、前記優先度に応じて、前記多重化区間の終了境界を跨ぐ、受信側のデコーダでのデコード単位を有する前記ビットストリームを選択して、選択した前記ビットストリームの当該デコード単位を多重化対象から除外し、
前記終了境界を跨ぐ前記デコード単位を次の多重化区間内で多重化すると、前記次の多重化区間内における前記積算値が前記第1の上限値を超える場合、前記終了境界を跨ぐ他のビットストリームの他のデコード単位を、前記優先度に応じて選択し、当該他のデコード単位を前記多重化対象から除外し、
前記積算値は、前の多重化区間において、前記多重化対象から除外された前記デコード単位の情報量を含み、
各前記ビットストリームの前記優先度は、前記複数のビットストリームそれぞれに対応して設定される前記デコーダのバッファ量の、前記多重化区間内における最大値と前記バッファ量の第2の上限値との差分と、前記多重化区間における前記バッファ量の最小値のうち、小さい方の値を前記バッファ量の前記第2の上限値で規格化した値であり、
前記第1の上限値は、前記多重化区間のビットレートの上限に前記多重化区間の時間を乗じた値から、前記ビットストリームに含ませる時刻情報の情報量を差し引いた値である、
ことを特徴とする多重化装置。 - 多重化対象の複数のビットストリームそれぞれに対して多重化における優先度を算出し、
多重化区間内の前記複数のビットストリームの情報量の積算値と第1の上限値とを比較し、
前記積算値と前記第1の上限値との比較結果及び前記優先度をもとに、前記複数のビットストリームから多重化するビットストリームを選択する際に、
前記積算値が前記第1の上限値を超える場合、前記優先度に応じて、前記多重化区間の終了境界を跨ぐ、受信側のデコーダでのデコード単位を有する前記ビットストリームを選択して、選択した前記ビットストリームの当該デコード単位を多重化対象から除外し、
前記終了境界を跨ぐ前記デコード単位を次の多重化区間内で多重化すると、前記次の多重化区間内における前記積算値が前記第1の上限値を超える場合、前記終了境界を跨ぐ他のビットストリームの他のデコード単位を、前記優先度に応じて選択し、当該他のデコード単位を前記多重化対象から除外し、
前記積算値は、前の多重化区間において、前記多重化対象から除外された前記デコード単位の情報量を含み、
各前記ビットストリームの前記優先度は、前記複数のビットストリームそれぞれに対応して設定される前記デコーダのバッファ量の、前記多重化区間内における最大値と前記バッファ量の第2の上限値との差分と、前記多重化区間における前記バッファ量の最小値のうち、小さい方の値を前記バッファ量の前記第2の上限値で規格化した値であり、
前記第1の上限値は、前記多重化区間のビットレートの上限に前記多重化区間の時間を乗じた値から、前記ビットストリームに含ませる時刻情報の情報量を差し引いた値である、ことを特徴とする多重化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010252414A JP5625776B2 (ja) | 2010-11-11 | 2010-11-11 | プログラム、多重化装置及び多重化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010252414A JP5625776B2 (ja) | 2010-11-11 | 2010-11-11 | プログラム、多重化装置及び多重化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012105105A JP2012105105A (ja) | 2012-05-31 |
JP5625776B2 true JP5625776B2 (ja) | 2014-11-19 |
Family
ID=46394986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010252414A Expired - Fee Related JP5625776B2 (ja) | 2010-11-11 | 2010-11-11 | プログラム、多重化装置及び多重化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5625776B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3364335B2 (ja) * | 1994-09-27 | 2003-01-08 | 日本放送協会 | ビットレート制御機能を具えたマルチプログラム符号化・伝送装置 |
JP3216503B2 (ja) * | 1995-10-20 | 2001-10-09 | 三菱電機株式会社 | 多重化装置および多重化方法 |
JPH11331248A (ja) * | 1998-05-08 | 1999-11-30 | Sony Corp | 送信装置および送信方法、受信装置および受信方法、並びに提供媒体 |
WO2006077621A1 (ja) * | 2005-01-18 | 2006-07-27 | Mitsubishi Denki Kabushiki Kaisha | 多重化装置及び受信装置 |
WO2008041271A1 (fr) * | 2006-09-29 | 2008-04-10 | Fujitsu Microelectronics Limited | Système d'émission/reception, noeud et procédé de communication |
-
2010
- 2010-11-11 JP JP2010252414A patent/JP5625776B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012105105A (ja) | 2012-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10097878B2 (en) | Video playback method and control terminal thereof | |
US10855742B2 (en) | Buffering in HTTP streaming client | |
US9769505B2 (en) | Adaptive streaming for digital content distribution | |
US20180191868A1 (en) | Method and System for Downloading Multiple Resolutions Bitrate for Virtual Reality (VR) Video Streaming Optimization | |
EP2649599B1 (en) | Variable bit video streams for adaptive streaming | |
US9781183B2 (en) | Accelerated playback of streaming media | |
US9648385B2 (en) | Adaptive streaming for digital content distribution | |
US20110176496A1 (en) | On-the-fly video quality switching for video distribution networks and methods therefor | |
US8655148B2 (en) | Picture overlay of captions on video via out of band communication | |
US20240155171A1 (en) | Methods and systems for managing content quality in a storage medium | |
CN108200470A (zh) | 一种视频码率调整方法及设备 | |
US20080049036A1 (en) | Multimedia Playback System, FIFO Memory System, and Method for Storing Multimedia Data | |
JP5625776B2 (ja) | プログラム、多重化装置及び多重化方法 | |
US20220256215A1 (en) | Systems and methods for adaptive output | |
JP2009004897A (ja) | 動画像符号化装置 | |
US20060280484A1 (en) | Recording/playback apparatus and recording/playback method | |
US20090185620A1 (en) | Video encoding apparatus and method for the same | |
CN108352172B (zh) | 用于减轻视听资源中的偏移的方法和控制服务器 | |
KR101086434B1 (ko) | 비디오 데이터 디스플레이 방법 및 장치 | |
US11140431B2 (en) | Method and system for prioritizing contents for content processing by multichannel video programming distributors | |
JP2010197957A (ja) | 画像音声供給装置、画像音声出力装置、画像供給方法、画像音声出力方法、及びプログラム | |
US20130201396A1 (en) | System and method to ensure buffer compliance in a mpeg2 transport stream system | |
US20170324967A1 (en) | Method for controlling bitstream decoding and associated bitstream decoding circuit | |
JP5171459B2 (ja) | ストリームデータ処理装置、ストリームデータ処理方法、及びストリームデータ処理プログラム | |
KR20130020003A (ko) | 영상 복원 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140408 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140902 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140915 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5625776 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |