JP7024787B2 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP7024787B2 JP7024787B2 JP2019512417A JP2019512417A JP7024787B2 JP 7024787 B2 JP7024787 B2 JP 7024787B2 JP 2019512417 A JP2019512417 A JP 2019512417A JP 2019512417 A JP2019512417 A JP 2019512417A JP 7024787 B2 JP7024787 B2 JP 7024787B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- packet
- control information
- information
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、放送波等における今後のデータ伝送規格として規格化が進められているMMT(MPEG Media Transport)フォーマットデータのメディア記録データに対する編集処理を行う情報処理装置、および情報処理方法、並びにプログラムに関する。
現在、4K画像や8K画像等の放送等、高画質画像のデータ伝送を実現するための規格化が進められており、その一つとして、MMT(MPEG Media Transport)フォーマットを利用したデータ配信方式についての検討が進められている。
MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツを構成する符号化データや、制御情報や属性情報等の様々な管理情報からなる制御情報(SI:Signaling Information(シグナリング情報))等のデータを、放送波やネットワークを介して伝送するデータ転送方式(トランスポートフォーマット)を規定したものである。
MMTフォーマットは、例えば4K画像、高ダイナミックレンジ(HDR:High Dynamic Range)画像等の次世代コンテンツの放送等に利用される予定となっている。
なお、現行の画像(Video)、音声(Audio)、字幕(Subtitle)等の伝送フォーマット、あるいは、メディアに対するデータ記録フォーマットとしては、MPEG-2TSフォーマットが多く利用されている。
また、このMPEG-2TSフォーマット対応の記録再生アプリケーション規格(フォーマット)としてBDMVやBDAV規格(フォーマット)が広く利用されている。
また、このMPEG-2TSフォーマット対応の記録再生アプリケーション規格(フォーマット)としてBDMVやBDAV規格(フォーマット)が広く利用されている。
なお、BDMVやBDAVは、主にBD(Blu-ray(登録商標) Disc)を利用したデータ記録再生のアプリケーション規格であるが、これらの規格はBDに限らず、フラッシュメモリやHDなど、その他のBD以外のメディアを利用したデータ記録再生にも適用可能である。
BDを利用したデータ記録再生処理構成については、例えば特許文献1(特開2011-023071号公報)等に記載がある。
BDを利用したデータ記録再生処理構成については、例えば特許文献1(特開2011-023071号公報)等に記載がある。
BDMVは、例えば映画コンテンツなどを予め記録したBD-ROM向けに開発されたアプリケーション規格であり、主に、パッケージコンテンツ等の書き換え不能なBD-ROMで広く使われている。
一方、BDAVは、主に書き換え可能なBD-RE型ディスクや、一回のみ記録可能なBD-R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像の記録再生やテレビ放送を記録し再生するために利用される。
一方、BDAVは、主に書き換え可能なBD-RE型ディスクや、一回のみ記録可能なBD-R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像の記録再生やテレビ放送を記録し再生するために利用される。
上述のMMTフォーマットに従った配信コンテンツを、情報記録媒体(メディア)に記録し、メディアからのコンテンツ再生処理をBDAVフォーマット対応の再生アプリケーションを利用して行なうためには、このBDAVフォーマットに従ってデータ記録を行うことが必要である。
現在、BDAVフォーマットを拡張し、MMTフォーマットデータを記録、再生可能とするための構成について議論が進められている。
例えば、放送局等が送信するMMTフォーマットに従った配信データをテレビ等の情報処理装置が受信し、受信データをBDやフラッシュメモリ、あるいはHDD(ハードディスク)等の記録メディアに記録する場合、画像、音声、字幕データや、制御情報(SI)等のデータを、MMTフォーマットに従ったデータを格納したパケットのパケット列としてメディアに記録する方向で議論が進んでいる。
例えば、放送局等が送信するMMTフォーマットに従った配信データをテレビ等の情報処理装置が受信し、受信データをBDやフラッシュメモリ、あるいはHDD(ハードディスク)等の記録メディアに記録する場合、画像、音声、字幕データや、制御情報(SI)等のデータを、MMTフォーマットに従ったデータを格納したパケットのパケット列としてメディアに記録する方向で議論が進んでいる。
具体的には、MMTP(MMT Protocol)パケット、あるいはMMTPパケットの上位パケットであるTLV(Type Length Value)パケットのパケット列をメディアに記録する方向で議論が進んでいる。
MMTPパケットやTLVパケットには、再生データである画像、音声、字幕、さらに、様々な管理情報からなる制御情報(SI:Signaling Information)等が格納されている。
例えばBD(Blu-ray(登録商標) Disc)やフラッシュメモリやHDD(ハードディスク)等の記録メディアに、画像、音声、字幕等のコンテンツを格納したMMTPパケットやTLVパケットを記録し、メディアからのコンテンツ再生を上述のBDAVフォーマット対応の再生アプリケーションを利用して行なうためには、このBDAVフォーマットに従ってデータ記録を行うことが必要である。
BDAVフォーマットは、再生制御情報ファイルとして、プレイリストファイルやクリップ情報ファイル等のデータベースファイルを規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)を参照してデータ再生処理を実行する。
従って、MMTフォーマットデータについても、これらのプレイリストファイルやクリップ情報ファイルに記録された再生制御情報を利用して再生処理を行うことが必要となる。
従って、MMTフォーマットデータについても、これらのプレイリストファイルやクリップ情報ファイルに記録された再生制御情報を利用して再生処理を行うことが必要となる。
一方、放送局から受信するMMTフォーマットデータである画像や音声等のデータや、制御情報(SI)は、MMTPパケット、およびTLVパケットに格納されており、これらのパケット列は、BDAVフォーマットにおいて規定されるクリップAVストリームファイルとして、メディアに記録されることになる。
メディアに記録されたMMTフォーマットから構成されるBDAVストリームファイルに対しては、様々な編集処理が行われる可能性がある。
例えば番組コンテンツ中のCM部分を削除するような編集処理や、ユーザのお気に入り部分のコンテンツのみを残し、他の部分を削除するといった様々な編集処理が行われる可能性がある。
例えば番組コンテンツ中のCM部分を削除するような編集処理や、ユーザのお気に入り部分のコンテンツのみを残し、他の部分を削除するといった様々な編集処理が行われる可能性がある。
しかし、上述したように、クリップAVストリームファイルを構成するパケット(MMTPパケット、またはTLVパケット)には、画像や音声等の再生データのみならず、制御情報(SI)も格納されている。
制御情報には、例えば、画像や音声データの再生処理に適用するタイムスタンプ等の情報が含まれる。
制御情報には、例えば、画像や音声データの再生処理に適用するタイムスタンプ等の情報が含まれる。
画像や音声等の再生データの格納パケットと、制御情報の格納パケットは異なるパケットである。従って、画像データの格納パケットのメディア上の記録位置と、その画像データ再生用のタイムスタンプ等の制御情報の格納パケットの記録位置は離間した位置となる。
このようなメディア記録データに対して、例えば、クリップAVストリームファイルから選択したユーザのお気に入り部分の画像格納パケットを残存させ、その他のパケットを消去するといった編集処理が行われる可能性がある。
このようなデータ編集処理が行われると、残存画像の再生に必要なタイムスタンプ等の制御情報の格納パケットが削除され、結果として残存画像の再生ができなくなるといった事態が発生する可能性がある。
このようなデータ編集処理が行われると、残存画像の再生に必要なタイムスタンプ等の制御情報の格納パケットが削除され、結果として残存画像の再生ができなくなるといった事態が発生する可能性がある。
本開示は、例えば、上記の問題点に鑑みてなされたものであり、MMTフォーマットデータのメディア記録データに対する編集処理を行う場合に、残存データを確実に再生可能とする編集処理を実現する情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
前記データ処理部は、
編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理装置にある。
MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
前記データ処理部は、
編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理装置にある。
さらに、本開示の第2の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
前記データ処理部が、
編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
前記データ処理部が、
編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理方法にある。
さらに、本開示の第3の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行わせるプログラムにある。
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行わせるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、データ削除等の編集処理後においても確実なデータ再生を可能とするMMTフォーマットデータの編集を可能とした構成が実現される。
具体的には、例えば、MMTフォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部は、ストリームファイルから削除する削除区間に、削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、制御情報を残存区間に移動、または別ファイルに記録する。例えば、ストリームファイルが、固定データ長の暗号化ユニットから構成される場合、制御情報格納パケットを、固定データ長に拡張して1つの暗号化ユニットとして残存区間に記録する。
本構成により、データ削除等の編集処理後においても確実なデータ再生を可能とするMMTフォーマットデータの編集を可能とした構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
具体的には、例えば、MMTフォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部は、ストリームファイルから削除する削除区間に、削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、制御情報を残存区間に移動、または別ファイルに記録する。例えば、ストリームファイルが、固定データ長の暗号化ユニットから構成される場合、制御情報格納パケットを、固定データ長に拡張して1つの暗号化ユニットとして残存区間に記録する。
本構成により、データ削除等の編集処理後においても確実なデータ再生を可能とするMMTフォーマットデータの編集を可能とした構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.通信システムの構成例について
2.MMT(MPEG Media Transport)フォーマットについて
3.BDAVフォーマットとSPAVフォーマットについて
4.MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について
5.メディアに記録されたMMTフォーマットデータに対する編集処理を行う場合の問題点について
6.メディアに記録されたMMTフォーマットデータの確実な再生を可能とする編集処理について
6-1.(1)暗号化ユニット単位を削除許容単位とする編集制限
6-2.(2)残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限
6-2-1.(2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理
6-2-2.(2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理
6-2-3.(2-3)残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理
6-2-4.(2-4)残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理
6-3.(3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限
7.情報記録媒体に対するデータ記録や、編集処理を実行する情報処理装置の構成と処理について
8.情報処理装置の構成例について
9.本開示の構成のまとめ
1.通信システムの構成例について
2.MMT(MPEG Media Transport)フォーマットについて
3.BDAVフォーマットとSPAVフォーマットについて
4.MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について
5.メディアに記録されたMMTフォーマットデータに対する編集処理を行う場合の問題点について
6.メディアに記録されたMMTフォーマットデータの確実な再生を可能とする編集処理について
6-1.(1)暗号化ユニット単位を削除許容単位とする編集制限
6-2.(2)残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限
6-2-1.(2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理
6-2-2.(2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理
6-2-3.(2-3)残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理
6-2-4.(2-4)残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理
6-3.(3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限
7.情報記録媒体に対するデータ記録や、編集処理を実行する情報処理装置の構成と処理について
8.情報処理装置の構成例について
9.本開示の構成のまとめ
[1.通信システムの構成例について]
まず、図1を参照して本開示の処理を実行する情報処理装置の一つの利用構成例である通信システムの例について説明する。
図1に示す情報処理装置30は、BD(Blu-ray(登録商標) Disc)や、フラッシュメモリ、ハードディスク(HDD)などのメディアを装着し、これらの装着メディアに対するデータ記録処理や、装着メディアからのデータ再生処理、さらに、他メディアに対するデータコピー処理等を実行する。
まず、図1を参照して本開示の処理を実行する情報処理装置の一つの利用構成例である通信システムの例について説明する。
図1に示す情報処理装置30は、BD(Blu-ray(登録商標) Disc)や、フラッシュメモリ、ハードディスク(HDD)などのメディアを装着し、これらの装着メディアに対するデータ記録処理や、装着メディアからのデータ再生処理、さらに、他メディアに対するデータコピー処理等を実行する。
情報処理装置30がメディアに記録するデータは、例えば放送局(放送サーバ)21や、データ配信サーバ22等の送信装置20の提供する送信コンテンツである。具体的には、テレビ局の提供する放送番組等である。
これらの送信コンテンツは、放送波、あるいはインターネット等のネットワークを介して送信装置20から情報処理装置30に送信される。
これらの送信コンテンツは、放送波、あるいはインターネット等のネットワークを介して送信装置20から情報処理装置30に送信される。
情報処理装置30は、例えば記録再生装置31、テレビ32、PC33、携帯端末34等である、これらの情報処理装置は、例えば、BD(Blu-ray(登録商標) Disc)41、HDD(ハードディスク)42、フラッシュメモリ43等の様々なメディアを装着し、これらのメディアに対するデータ記録処理や、メディア記録データの編集処理、メディアからのデータ再生処理、さらに、メディア間のデータコピー処理等を実行する。
送信装置20から情報処理装置30に対するデータ送信は、MMT(MPEG Media Transport)フォーマットに従って実行される。
MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランンスポートフォーマット)を規定したものである。
MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランンスポートフォーマット)を規定したものである。
送信装置20は、コンテンツデータを符号化し、符号化データおよび符号化データのメタデータを含むデータファイルを生成し、生成した符号化データをMMTにおいて規定されるMMTP(MMT Protocol)パケットに格納して放送波、またはネットワークを介して送信する。
送信装置20が情報処理装置30に提供するデータは、画像、音声、字幕等の再生対象データの他、番組ガイド等の案内情報や通知情報、制御メッセージ等の様々な管理情報によって構成される制御情報(SI:Signaling Information(シグナリング情報))によって構成される。
[2.MMT(MPEG Media Transport)フォーマットについて]
上述したように、送信装置20から情報処理装置30に対するデータ送信は、MMT(MPEG Media Transport)フォーマットに従って実行される。
図2以下を参照して、MMT(MPEG Media Transport)フォーマットについて説明する。
上述したように、送信装置20から情報処理装置30に対するデータ送信は、MMT(MPEG Media Transport)フォーマットに従って実行される。
図2以下を参照して、MMT(MPEG Media Transport)フォーマットについて説明する。
図2は、MMTフォーマットのスタック・モデルを示す図である。
図2に示すMMTスタック・モデルにおいて、最下層には、物理レイヤ(PHY)がある。物理レイヤは、放送系の処理を行なうブロードキャスト(Broadcasting)レイヤと、ネットワーク系の処理を行なうブロードバンド(Broadband)レイヤに分割されている。
MMTは放送系、ネットワーク系の2つの通信網を利用した処理を可能としている。
図2に示すMMTスタック・モデルにおいて、最下層には、物理レイヤ(PHY)がある。物理レイヤは、放送系の処理を行なうブロードキャスト(Broadcasting)レイヤと、ネットワーク系の処理を行なうブロードバンド(Broadband)レイヤに分割されている。
MMTは放送系、ネットワーク系の2つの通信網を利用した処理を可能としている。
物理レイヤ(PHY)の上位レイヤとして、TLV(Type Length Value)レイヤがある。TLVはIPパケットの多重化方式を規定したフォーマット規定レイヤである。複数のIPパケットが多重化されてTLVパケットとして送信される。TLV-SIは、TLVフォーマットに従った制御メッセージ等の制御情報(SI)の伝送レイヤである。
制御情報(SI)は、情報処理装置30側においてコンテンツ(番組)を受信、再生するために必要となる設定情報や、番組ガイド等の案内情報や通知情報、制御情報、管理情報によって構成される。
TLVレイヤで処理が生成されるTLVパケットに格納される制御情報(SI)がTLV-SIであり、主に受信処理に関する制御情報によって構成されている。
MMTプロトコル(MMTP)に従って生成されるパケットであるMMTPパケットに格納される制御情報(SI)は最上位レイヤに示すMMT-SIであり、主に再生制御に関する制御情報によって構成されている。
TLVレイヤで処理が生成されるTLVパケットに格納される制御情報(SI)がTLV-SIであり、主に受信処理に関する制御情報によって構成されている。
MMTプロトコル(MMTP)に従って生成されるパケットであるMMTPパケットに格納される制御情報(SI)は最上位レイヤに示すMMT-SIであり、主に再生制御に関する制御情報によって構成されている。
TLVレイヤ上には、UDP/IPレイヤが設定される。
UDP/IPレイヤは、詳細にはIPレイヤとUDPレイヤに分割可能であるが、IPパケットのペイロードにUDPパケットを格納する伝送を規定するレイヤである。
UDP/IPレイヤ上にMMTレイヤ、およびFile delivery methodレイヤ が設定される。
MMTPパケットをIPパケットに格納して送信する場合と、MMTPパケットを用いないデータ伝送方式であるFile delivery methodを利用してIPパケットとしてデータ送信する方式が併用可能な設定となっている。
UDP/IPレイヤは、詳細にはIPレイヤとUDPレイヤに分割可能であるが、IPパケットのペイロードにUDPパケットを格納する伝送を規定するレイヤである。
UDP/IPレイヤ上にMMTレイヤ、およびFile delivery methodレイヤ が設定される。
MMTPパケットをIPパケットに格納して送信する場合と、MMTPパケットを用いないデータ伝送方式であるFile delivery methodを利用してIPパケットとしてデータ送信する方式が併用可能な設定となっている。
MMTレイヤ上には、以下のレイヤが設定される。
画像符号化規格であるHEVC(High Efficiency Video Coding)に従った符号化画像データである画像(Video)データ、
音声符号化規格であるAAC(Advanced Audio Coding)に従った符号化音声データである音声(Audio)データ、
字幕符号化規格であるTTML(Timed Text Markup Language)に従った符号化字幕データである字幕(Subtitle)データ、
MMTPパケットを利用して送信される制御情報(MMT-SI)、
さらに、HTML5(Hyper Text Markup Language 5)に従って記述された様々なアプリケーション、
これらの各データがMMTPパケットに格納されて送信される。
画像符号化規格であるHEVC(High Efficiency Video Coding)に従った符号化画像データである画像(Video)データ、
音声符号化規格であるAAC(Advanced Audio Coding)に従った符号化音声データである音声(Audio)データ、
字幕符号化規格であるTTML(Timed Text Markup Language)に従った符号化字幕データである字幕(Subtitle)データ、
MMTPパケットを利用して送信される制御情報(MMT-SI)、
さらに、HTML5(Hyper Text Markup Language 5)に従って記述された様々なアプリケーション、
これらの各データがMMTPパケットに格納されて送信される。
制御情報(MMT-SI)は、MMTPパケットで送信される制御情報(シグナリング情報)であり、情報処理装置30側においてコンテンツ(番組)を再生するために必要となる設定情報や、番組ガイド等の案内情報や通知情報、制御情報等の様々な管理情報によって構成される。
なお、時刻情報(NTP:Network Time Protocol)は絶対時刻情報であり、UDPパケットに直接格納され送信される。
その他のデータ配信を行うデータサービス(Data service)、コンテンツダウンロード等(Contentdownload,etc.)がMMTと異なるファイル配信メソッド(File delivery method)を利用して配信可能な構成を有している。
その他のデータ配信を行うデータサービス(Data service)、コンテンツダウンロード等(Contentdownload,etc.)がMMTと異なるファイル配信メソッド(File delivery method)を利用して配信可能な構成を有している。
図2に示すように、画像、音声、字幕、さらに、様々な通知情報や制御情報等の様々な管理情報からなる制御情報(MMT-SI)やアプリケーションは、MMTPパケットによって送信される。
図3を参照してMMTPパケットの具体的構成例について説明する。
図3には以下の4種類のデータ構成例を示している。
(a)MPU(Media Presentation Unit)
(b)MMTPペイロート
(c)MMTPパケット
(d)TLVパケット
図3には以下の4種類のデータ構成例を示している。
(a)MPU(Media Presentation Unit)
(b)MMTPペイロート
(c)MMTPパケット
(d)TLVパケット
(d)TLVパケットが放送波やネットワークを介して送信されるパケットであり、TLVパケットには、UDPヘッダ、IPヘッダ、TLVヘッダの各ヘッダ情報が設定される。TLVパケットは、データ種類ごとに個別のパケットとして設定される。
すなわち、1つのTLVパケットのTLVペイロードには、1つの種類のデータが格納される。具体的には、例えば、画像(V)、音声(A)、字幕(S)、あるいは、様々な管理情報からなる制御情報(SI)が個別に格納される。
なお、制御情報(SI)については、MMTPパケットに格納する制御情報(MMT-SI)と、TLVパケットで送信される制御情報(TLV-SI)があり、それぞれ異なる個別のTLVパケットに格納される。
なお、制御情報(SI)については、MMTPパケットに格納する制御情報(MMT-SI)と、TLVパケットで送信される制御情報(TLV-SI)があり、それぞれ異なる個別のTLVパケットに格納される。
TLVパケットのペイロードであるTLVペイロートの一例が、図3(c)に示すMMTPパケットである。
図3(c)に示すMMTPパケットは、MMTPヘッダと、MMTPペイロードによって構成される。
図3(c)に示すMMTPパケットは、MMTPヘッダと、MMTPペイロードによって構成される。
1つのMMTPパケットのMMTPペイロードには、1つの種類のデータが格納される。具体的には、例えば、画像(V)、音声(A)、字幕(S)、さらにMMTPパケットに格納する制御情報(MMT-SI)、これらのいずれか一種類のデータが、個別のMMTPパケットに格納される。
図3(a),(b)は、図3(c)に示すMMTPパケットのMMTPペイロードに格納される画像データの詳細構成を示している。
図3(b)は、図3(c)に示すMMTPパケット中、MMTPペイロードが画像データ(V)であるもののみを選択して示している。
図3(b)に示すMMTPペイロードは、ヘッダとデータユニットによって構成される。
図3(b)は、図3(c)に示すMMTPパケット中、MMTPペイロードが画像データ(V)であるもののみを選択して示している。
図3(b)に示すMMTPペイロードは、ヘッダとデータユニットによって構成される。
データユニットには、図3(a)に示すように、画像データおよび、以下の各種のパラメータが格納される。
AU Delimiter(Access Unit Delimiter)
SPS(Sequence Parameter Set)
PPS(Picture Parameter Set)
SEIs(Supplemental Enhancement Information)
これらのパラメータは、画像表示に利用されるパラメータである。
AU Delimiter(Access Unit Delimiter)
SPS(Sequence Parameter Set)
PPS(Picture Parameter Set)
SEIs(Supplemental Enhancement Information)
これらのパラメータは、画像表示に利用されるパラメータである。
図3(a)に示すMPU(Media Presentation Unit)は、MMTフォーマットにおける画像、音声、字幕等の再生対象データの1つのデータ処理単位である。図3(a)に示す例は、画像データのMPUの例であり、いわゆる符号化、復号処理単位としてのGOP(Group of Pictures)と同じ単位である。
このように、例えば画像データは、図3(a)に示すように、MMTフォーマットにおいて規定されたパラメータと画像構成データに分割され、図3(b)に示すMMTPペイロードに格納され、図3(c)に示すMMTPパケットとして構成される。
さらに、MMTPパケットは、図3(d)に示すTLVパケットのペイロードとして設定されて、TLVパケットが放送波やネットワークを介して送信される。
さらに、MMTPパケットは、図3(d)に示すTLVパケットのペイロードとして設定されて、TLVパケットが放送波やネットワークを介して送信される。
なお、音声、字幕等の各データ、MMT-SIの各データについても、それぞれデータ種類単位のMMTPパケット、TLVパケットが設定されて送信される。
TLV-SIは、MMTPパケットに格納されることなくTLVパケットに格納されて送信される。
TLV-SIは、MMTPパケットに格納されることなくTLVパケットに格納されて送信される。
[3.BDAVフォーマットとSPAVフォーマットについて]
次に、上述のMMTフォーマットに従った配信コンテンツを例えばBD(Blu-ray(登録商標) Disc)やフラッシュメモリ、あるいはHDD(ハードディスク)等のメディアに記録して再生する場合の記録データフォーマットであるBDAVフォーマットとSPAVフォーマットについて図4以下を参照して説明する。
次に、上述のMMTフォーマットに従った配信コンテンツを例えばBD(Blu-ray(登録商標) Disc)やフラッシュメモリ、あるいはHDD(ハードディスク)等のメディアに記録して再生する場合の記録データフォーマットであるBDAVフォーマットとSPAVフォーマットについて図4以下を参照して説明する。
例えばBD(Blu-ray(登録商標) Disc)やフラッシュメモリやHDD等のメディアから、画像、音声、字幕等のコンテンツを再生する場合には、これらのコンテンツの再生処理を行なうための再生制御情報やインデックス情報が必要となる。再生制御情報やインデックス情報は一般的にデータベースファイルと呼ばれる。
これらの再生制御情報やインデックス情報は、メディアの記録データの再生処理を実行する再生アプリケーションに応じて異なるものとなる。
これらの再生制御情報やインデックス情報は、メディアの記録データの再生処理を実行する再生アプリケーションに応じて異なるものとなる。
前述したように、現行の記録再生アプリケーション規格(=データ記録フォーマット)としてBDMVやBDAV規格(データ記録フォーマット)がある。これらのアプリケーション規格は、主にBD(Blu-ray(登録商標) Disc)を利用したデータ記録再生アプリケーション規格として策定されたものである。
なお、BDMVやBDAVは、主にBDを利用したデータ記録再生のアプリケーション規格であり、データ記録フォーマット(規格)であるが、これらの規格はBDに限らず、フラッシュメモリなど、その他のBD以外のメディアを利用したデータ記録再生にも適用可能である。
BDMVは、例えば映画コンテンツなどを予め記録したBD-ROM向けに開発されたアプリケーション規格であり、主に、パッケージコンテンツ等の書き換え不能なBD-ROMで広く使われている。
一方、BDAVは、主に書き換え可能なBD-RE型ディスクや、一回のみ記録可能なBD-R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像の記録再生やテレビ放送を記録し再生するために利用される。
BDMVは、例えば映画コンテンツなどを予め記録したBD-ROM向けに開発されたアプリケーション規格であり、主に、パッケージコンテンツ等の書き換え不能なBD-ROMで広く使われている。
一方、BDAVは、主に書き換え可能なBD-RE型ディスクや、一回のみ記録可能なBD-R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像の記録再生やテレビ放送を記録し再生するために利用される。
上述のMMTフォーマットに従った配信コンテンツを記録したメディアからのコンテンツ再生処理を、BDAVフォーマット対応の再生アプリケーションを利用して行なうためには、このBDAVフォーマットに従ってデータ記録を行うことが必要である。
前述のように、BDAVフォーマットは、再生制御情報の記録ファイルとして、プレイリストファイルやクリップ情報ファイル等を規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)の記録情報を利用してデータ再生処理を実行する。
前述のように、BDAVフォーマットは、再生制御情報の記録ファイルとして、プレイリストファイルやクリップ情報ファイル等を規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)の記録情報を利用してデータ再生処理を実行する。
図4は、情報記録媒体(メディア)40にBDAVフォーマットに従って記録されたデータのディレクトリ構成例を示す図である。
ディレクトリには、図4に示すように様々な管理情報、再生制御情報、再生対象データの格納ファイルが設定される。
ディレクトリには、図4に示すように様々な管理情報、再生制御情報、再生対象データの格納ファイルが設定される。
管理情報ファイルは、例えば、図4に示すインフォファイル(info)、メニューファイル(menu)、マークファイル(mark)等によって構成される。これらは、主にユーザに見せるタイトルの管理情報等を格納する。
また、再生制御情報ファイルとして、
プレイリストファイル(playlist)、
クリップ情報ファイル(clipinf)
例えば、これらのファイルが記録される。
さらに、再生データ格納ファイルとして、クリップAVストリームファイル(stream)が記録される。
また、再生制御情報ファイルとして、
プレイリストファイル(playlist)、
クリップ情報ファイル(clipinf)
例えば、これらのファイルが記録される。
さらに、再生データ格納ファイルとして、クリップAVストリームファイル(stream)が記録される。
プレイリストファイルは、タイトルによって指定される再生プログラムのプログラム情報に従ってコンテンツの再生順等を規定したファイルであり、例えば、再生位置情報等を記録したクリップ情報ファイルの指定情報等を有する。
クリップ情報ファイルは、プレイリストファイルによって指定されるファイルであり、クリップAVストリームファイルの再生位置情報等を有する。
クリップ情報ファイルは、プレイリストファイルによって指定されるファイルであり、クリップAVストリームファイルの再生位置情報等を有する。
クリップAVストリームファイルは、再生対象となるAVストリームデータや管理情報を格納したファイルである。クリップAVストリームファイルは、再生対象となる画像、音声、字幕等の各データや、管理情報を格納したパケットによって構成される。
なお、MPEG-2TSフォーマットにおいて規定され、クリップAVストリームファイルに記録される管理情報として、例えば、PSI/SI(Program Specific Information/Service Information)がある。
なお、MPEG-2TSフォーマットにおいて規定され、クリップAVストリームファイルに記録される管理情報として、例えば、PSI/SI(Program Specific Information/Service Information)がある。
なお、従来の放送データや、ネットワーク配信データは、TS(Transport Stream)パケットによって構成されたMPEG-2TSフォーマットデータであるが、今後の4K,8K画像等の高精細画像等を含むデータは前述したMMTPパケットによって構成されるMMTフォーマットデータとなることが予想される。
図4にはクリップAVストリームファイル(stream)として、
TSパケットによって構成されたMPEG-2TSフォーマットデータからなるストリームファイル(nnnnn.m2ts)、
MMTPパケットによって構成されるMMTフォーマットデータ(nnnnn.mmtv)、
これらの2種類のストリームファイルを示している。
TSパケットによって構成されたMPEG-2TSフォーマットデータからなるストリームファイル(nnnnn.m2ts)、
MMTPパケットによって構成されるMMTフォーマットデータ(nnnnn.mmtv)、
これらの2種類のストリームファイルを示している。
図4に示すディレクトリ例は、情報処理装置30が受信したデータがMPEG-2TSフォーマットデータである場合は、そのまま、MPEG-2TSフォーマットデータとしてメディアに記録し、受信データがMMTフォーマットデータである場合は、MMTフォーマットデータとしてメディアに記録する設定の場合のディレクトリ例である。
なお、MMTフォーマットデータをメディアに記録する場合のクリップAVストリームファイルは、MMTフォーマットに従ったデータを格納したパケットのパケット列として記録する方向で議論が進んでいる。
具体的には、MMTP(MMT Protocol)パケット、あるいはMMTPパケットの上位パケットであるTLV(Type Length Value)パケットのパケット列として記録する方向で議論が進んでいる。
この具体例については後段で詳細に説明する。
具体的には、MMTP(MMT Protocol)パケット、あるいはMMTPパケットの上位パケットであるTLV(Type Length Value)パケットのパケット列として記録する方向で議論が進んでいる。
この具体例については後段で詳細に説明する。
管理情報ファイル、プレイリストファイル、クリップ情報ファイル、これらのデータファイルは、クリップAVストリームファイルに格納された再生データである画像、音声、字幕等の再生処理に適用する管理情報の格納ファイルである。これらは、再生制御情報や、再生データの属性情報等を格納したファイルであり、データベースファイルと呼ばれる。
情報記録媒体に記録されたコンテンツを再生するシーケンスは以下の通りである。
(a)まず、再生アプリケーションによって管理情報ファイルから特定のプレイリストを指定する。
(b)選択されたプレイリストに規定されたクリップ情報によって、コンテンツ実データとしてのAVストリームあるいはコマンドが読み出されて、AVストリームの再生や、コマンドの実行処理が行われる。
(a)まず、再生アプリケーションによって管理情報ファイルから特定のプレイリストを指定する。
(b)選択されたプレイリストに規定されたクリップ情報によって、コンテンツ実データとしてのAVストリームあるいはコマンドが読み出されて、AVストリームの再生や、コマンドの実行処理が行われる。
図5は、情報記録媒体(メディア)40に記録される以下のデータ、すなわち、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのデータの対応関係を説明する図である。
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのデータの対応関係を説明する図である。
実際の再生対象データである画像、音声、字幕等の再生対象データからなるAVストリームはクリップAVストリーム(Clip AV Stream)ファイルとして記録され、さらに、これらのAVストリームの管理情報、再生制御情報ファイルとして、プレイリスト(PlayList)ファイルと、クリップ情報(Clip Information)ファイルが規定される。
これら複数のカテゴリのファイルは、図5に示すように、
プレイリスト(PlayList)ファイルを含むプレイリストレイヤ、
クリップAVストリーム(Clip AV Stream)ファイルと、クリップ情報(Clip Information)ファイルからなるクリップレイヤ、
これらの2つのレイヤに区分できる。
プレイリスト(PlayList)ファイルを含むプレイリストレイヤ、
クリップAVストリーム(Clip AV Stream)ファイルと、クリップ情報(Clip Information)ファイルからなるクリップレイヤ、
これらの2つのレイヤに区分できる。
なお、一つのクリップAVストリーム(Clip AV Stream)ファイルには一つのクリップ情報(Clip Information)ファイルが対応付けられ、これらのペアを一つのオブジェクトと考え、これらをまとめてクリップ(Clip)、あるいはクリップファイルと呼ぶ。
クリップAVストリームファイルに含まれるデータの詳細情報、例えばMPEGデータのIピクチャ位置情報などを記録したEPマップなどの管理情報がクリップ情報ファイルに記録される。
クリップAVストリームファイルに含まれるデータの詳細情報、例えばMPEGデータのIピクチャ位置情報などを記録したEPマップなどの管理情報がクリップ情報ファイルに記録される。
なお、クリップAVストリーム(Clip AV Stream)ファイルは、MPEG-2TSフォーマットデータである場合はTSパケットによって構成される。
また、MMTフォーマットデータである場合はMMTPパケットによって構成される。
また、MMTフォーマットデータである場合はMMTPパケットによって構成される。
クリップ情報(Clip Information)ファイルは、例えば、クリップAVストリームファイルのバイト列データのデータ位置と、時間軸上に展開した場合の再生開始ポイントであるエントリポイント(EP)等の再生時間位置等の対応データ等、クリップAVストリームファイルの格納データの再生開始位置などを取得するための管理情報を格納している。
プレイリストは、クリップ(Clip)の再生開始位置や再生終了位置に対応するアクセスポイントを時間軸上の情報であるタイムスタンプで指し示す情報を有する。
例えば、コンテンツの開始点からの再生時間経過位置を示すタイムスタンプに基づいてクリップ情報ファイルを参照して、クリップAVストリームファイルのデータ読み出し位置、すなわち再生開始点としてのアドレスを取得することが可能となる。
クリップ情報ファイル(Clip Information file)は、このタイムスタンプから、クリップAVストリームファイル中のストリームのデコードを開始すべきアドレス情報を見つけるために利用される。
例えば、コンテンツの開始点からの再生時間経過位置を示すタイムスタンプに基づいてクリップ情報ファイルを参照して、クリップAVストリームファイルのデータ読み出し位置、すなわち再生開始点としてのアドレスを取得することが可能となる。
クリップ情報ファイル(Clip Information file)は、このタイムスタンプから、クリップAVストリームファイル中のストリームのデコードを開始すべきアドレス情報を見つけるために利用される。
このように、プレイリスト(PlayList)ファイルは、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
なお、再生対象データを格納したクリップAVストリーム(Clip AV Stream)ファイルは、前述したように、従来型のMPEG-2TSフォーマットデータである場合はTSパケットによって構成される。
また、今後、利用が拡大されると予想される4K,8K画像等の高精細画像データの場合は、MMTフォーマットデータである場合はMMTPパケットによって構成される。
図6、図7を参照して、MMTフォーマットと、MPEG-2TSフォーマットについて説明する。
また、今後、利用が拡大されると予想される4K,8K画像等の高精細画像データの場合は、MMTフォーマットデータである場合はMMTPパケットによって構成される。
図6、図7を参照して、MMTフォーマットと、MPEG-2TSフォーマットについて説明する。
まず、図6を参照して、MPEG-2TSフォーマットについて説明する。
MPEG-2TSフォーマットは画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データや管理情報(PSI/SI)を記録媒体(メディア)に格納、または放送波やネットワークを介して伝送する際の符号化データ等のデータ格納形式(コンテナフォーマット)を規定したフォーマットである。
MPEG-2TSフォーマットは画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データや管理情報(PSI/SI)を記録媒体(メディア)に格納、または放送波やネットワークを介して伝送する際の符号化データ等のデータ格納形式(コンテナフォーマット)を規定したフォーマットである。
MPEG-2TSフォーマットは、ISO13818-1において標準化されたフォーマットであり、例えばBD(Blu-ray(登録商標) Disc)に対するデータ記録や、デジタル放送等に用いられている。
図6(a)~(c)はMPEG-2TSフォーマットデータの構成を示す図である。
最下段に示す図6(a)は、MPEG-2TSのフォーマットデータの全体構成を示す図である。
図6(a)に示すように、MPEG-2TSフォーマットデータは、複数のエレメンタリストリーム(Elementary stream)によって構成される。
エレメンタリストリーム(Elementary stream)は、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。
最下段に示す図6(a)は、MPEG-2TSのフォーマットデータの全体構成を示す図である。
図6(a)に示すように、MPEG-2TSフォーマットデータは、複数のエレメンタリストリーム(Elementary stream)によって構成される。
エレメンタリストリーム(Elementary stream)は、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。
1つのエレメンタリストリーム(Elementary stream)は、図2(b)に示すように、1つまたは複数のPES(Packetized Elementary stream)パケットによって構成される。
具体的には、1つのエレメンタリストリーム(Elementary stream)は、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つPESパケットの1つ、または複数から構成される。
具体的には、1つのエレメンタリストリーム(Elementary stream)は、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つPESパケットの1つ、または複数から構成される。
1つのPESパケットは、図6(c)に示すように、1つまたは複数のTSパケットによって構成される。
具体的には、1つのPESパケットは、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つTSパケットの1つ、または複数から構成される。
TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
具体的には、1つのPESパケットは、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つTSパケットの1つ、または複数から構成される。
TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
次に、図7を参照してMMT(MPEG Media Transport)フォーマットについて説明する。
MMTフォーマットについては、先に図3を参照しているが、図7に示すMMTフォーマットの説明図は、図6を参照して説明したMPEG-2TSフォーマットとの対応関係を分かり易く説明した図である。
MMTフォーマットについては、先に図3を参照しているが、図7に示すMMTフォーマットの説明図は、図6を参照して説明したMPEG-2TSフォーマットとの対応関係を分かり易く説明した図である。
先に説明したように、MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランスポートフォーマット)を規定したものである。
図7は、ISO/IEC 23008-1に規定されるファイルフォーマットであるMMTフォーマットについて説明する図である。
図7は、ISO/IEC 23008-1に規定されるファイルフォーマットであるMMTフォーマットについて説明する図である。
図7(a)~(c)にはMMTフォーマットデータの構成を示している。
最下段に示す図7(a)は、MMTフォーマットデータの全体構成を示す図である。
図7(a)に示すように、MMTフォーマットデータは、複数のメディアプレゼンテーションユニット(MPU:Media presentation unit)によって構成される。
MPUは、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。例えば、画像の場合、1MPUが1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する。
最下段に示す図7(a)は、MMTフォーマットデータの全体構成を示す図である。
図7(a)に示すように、MMTフォーマットデータは、複数のメディアプレゼンテーションユニット(MPU:Media presentation unit)によって構成される。
MPUは、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。例えば、画像の場合、1MPUが1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する。
1つのMPUは、図7(b)に示すように、1つまたは複数のメディアフラグメントユニット(MFU:Media Fragment unit)によって構成される。
具体的には、1つのMPUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMFUの1つ、または複数から構成される。
具体的には、1つのMPUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMFUの1つ、または複数から構成される。
1つのMFUは、図7(c)に示すように、1つまたは複数のMMTPパケットによって構成される。
具体的には、1つのMFUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMMTPパケットの1つ、または複数から構成される。
MMTPパケットは可変長であり、様々なパケットサイズに設定可能である。
MMTPパケットの各々は、属性情報等を格納するヘッダ(MMTPヘッダ)と、符号化画像の実データ等を格納するペイロード(MMTPペイロード)により、構成される。
具体的には、1つのMFUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMMTPパケットの1つ、または複数から構成される。
MMTPパケットは可変長であり、様々なパケットサイズに設定可能である。
MMTPパケットの各々は、属性情報等を格納するヘッダ(MMTPヘッダ)と、符号化画像の実データ等を格納するペイロード(MMTPペイロード)により、構成される。
なお、BDAVフォーマットに類似するフォーマットとしてSPAVフォーマットがある。前述したように、BDMVやBDAVは、主にBDを利用したデータ記録再生のアプリケーション規格である。これに対して、SPAVフォーマットは、主にハードディスクに対するデータ記録再生のアプリケーション規格である。
ただし、BDAVフォーマット、SPAVフォーマットのいずれも、BD,フラッシュメモリ、HDD等、様々なメディアを利用した記録再生に利用可能なフォーマットである。
ただし、BDAVフォーマット、SPAVフォーマットのいずれも、BD,フラッシュメモリ、HDD等、様々なメディアを利用した記録再生に利用可能なフォーマットである。
SPAVフォーマットデータは、BDAVフォーマットにおけるデータ記録再生処理と同様の処理でデータ記録再生を実行することが可能である。ただし、SPAVフォーマットは、ファイル名設定が、BDAVフォーマットと一部、異なっている。
図8にSPAVフォーマットのディレクトリ構成例を示す。
図8にSPAVフォーマットのディレクトリ構成例を示す。
図8に示すSPAVフォーマットのディレクトリには、先に図4を参照して説明したBDAVフォーマットと同様、様々な管理情報、再生制御情報、再生対象データの格納ファイルが設定される。
管理情報ファイルは、例えば、図8に示すインフォファイル(INFO)、メニューファイル(MENU)、マークファイル(MARK)等によって構成される。これらは、主にユーザに見せるタイトルの管理情報等を格納する。
また、再生制御情報ファイルとして、
プレイリストファイル(PLAYLIST)、
クリップ情報ファイル(CLIPINF)
例えば、これらのファイルが記録される。
さらに、再生データ格納ファイルとして、クリップAVストリームファイル(STREAM)が記録される。
また、再生制御情報ファイルとして、
プレイリストファイル(PLAYLIST)、
クリップ情報ファイル(CLIPINF)
例えば、これらのファイルが記録される。
さらに、再生データ格納ファイルとして、クリップAVストリームファイル(STREAM)が記録される。
図8に示すようにSPAVフォーマットのディレクトリ名や各ファイルの拡張子の設定が、図4を参照して説明したBDAVフォーマットと異なっている。
ただし、各ファイルに格納されるデータや、各ファイルの役割は、BDAVフォーマットと同様である。
ただし、各ファイルに格納されるデータや、各ファイルの役割は、BDAVフォーマットと同様である。
以下の実施例の説明では、MMTフォーマットデータをBDAVフォーマットデータとして記録し、再生する処理例について説明するが、以下に説明する実施例は、MMTフォーマットデータをSPAVフォーマットデータとして記録し、再生する処理にも適用可能である。
[4.MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について]
次に、MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について説明する。
次に、MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について説明する。
先に説明したように、MMTフォーマットは、今後、放送局等によって配信が予定される4K画像等に利用されるデータ配信フォーマットであり、図3を参照して説明したプロトコルスタックに従ったフォーマットである。
一方、BDAVフォーマットはメディアに対するデータ記録フォーマットであり、図4を参照して説明したようにプレイリストファイルやクリップ情報ファイル等の再生制御情報ファイルを含むデータベースファイルが規定されている。
なお、BDAVフォーマットはデータ記録フォーマットであるとともにデータ記録再生アプリケーション規格にも対応しており、BDAVフォーマットに従ってメディアに記録されたデータ再生は、BDAVフォーマット対応の再生アプリケーションを利用して再生処理が実行される。
一方、BDAVフォーマットはメディアに対するデータ記録フォーマットであり、図4を参照して説明したようにプレイリストファイルやクリップ情報ファイル等の再生制御情報ファイルを含むデータベースファイルが規定されている。
なお、BDAVフォーマットはデータ記録フォーマットであるとともにデータ記録再生アプリケーション規格にも対応しており、BDAVフォーマットに従ってメディアに記録されたデータ再生は、BDAVフォーマット対応の再生アプリケーションを利用して再生処理が実行される。
従って、MMTフォーマットに従った配信コンテンツをメディアに記録し、記録したメディアからのコンテンツ再生処理をBDAVフォーマット対応の再生アプリケーションを利用して行なうためには、BDAVフォーマットに従ったデータ記録を行うことが必要である。
前述したように、現在、BDAVフォーマットを拡張し、MMTフォーマットデータを記録、再生可能とするための規定について議論が進められている。
例えば、放送局等が送信するMMTフォーマットに従った配信データを録画機等の情報処理装置が受信し、受信データをBDやフラッシュメモリ、あるいはHDD(ハードディスク)等のメディアに記録する処理を行う場合、画像、音声、字幕データや管理情報(SI)等のデータについては、MMTフォーマットに従ったデータを格納したパケットのパケット列としてそのまま記録する方向で議論が進んでいる。
例えば、放送局等が送信するMMTフォーマットに従った配信データを録画機等の情報処理装置が受信し、受信データをBDやフラッシュメモリ、あるいはHDD(ハードディスク)等のメディアに記録する処理を行う場合、画像、音声、字幕データや管理情報(SI)等のデータについては、MMTフォーマットに従ったデータを格納したパケットのパケット列としてそのまま記録する方向で議論が進んでいる。
すなわち、図4に示すBDAVフォーマット、あるいは図8に示すSPAVフォーマットに設定されるクリップAVストリームファイル[02001.mmtv等]に、MMTフォーマットに従ったデータを格納したパケットのパケット列を記録する。
なお、MMTフォーマットデータを格納したクリップAVストリームファイル[02001.mmtv等]に対応する再生制御情報ファイルであるプレイリストファイルやクリップ情報ファイルについては、MMTフォーマットデータ対応の制御情報を設定したプレイリストファイルやクリップ情報ファイルを記録装置が生成してメディアに記録することになる。
なお、MMTフォーマットデータを格納したクリップAVストリームファイル[02001.mmtv等]に対応する再生制御情報ファイルであるプレイリストファイルやクリップ情報ファイルについては、MMTフォーマットデータ対応の制御情報を設定したプレイリストファイルやクリップ情報ファイルを記録装置が生成してメディアに記録することになる。
MMTフォーマットデータを格納したクリップAVストリームファイルは、MMTP(MMT Protocol)パケット、あるいはMMTPパケットの上位パケットであるTLV(Type Length Value)パケットのパケット列として記録する方向で議論が進んでいる。
MMTフォーマットデータを格納したクリップAVストリームファイルの具体的な記録構成例について図9、図10を参照して説明する。
図9は、BDやフラッシュメモリ、あるいはHDD(ハードディスク)等の記録メディアに、MMTフォーマットに従ったMMTP(MMT Protocol)パケット列を記録する処理例を説明する図である。
図9は、BDやフラッシュメモリ、あるいはHDD(ハードディスク)等の記録メディアに、MMTフォーマットに従ったMMTP(MMT Protocol)パケット列を記録する処理例を説明する図である。
図9には、以下の3つのデータを示している。
(A)放送配信データであるTLVパケット列
(B)受信再生データとして処理される1つのTLVパケット
(C)メディア記録用データの構成として提案されているMMTPパケット列
(A)放送配信データであるTLVパケット列
(B)受信再生データとして処理される1つのTLVパケット
(C)メディア記録用データの構成として提案されているMMTPパケット列
(A)放送配信データであるTLVパケット列は、先に図2を参照して説明したMMT(MPEG Media Transport)フォーマットを有するTLVパケットの列(シーケンス)である。
このTLVパケット列が、放送局等の送信装置20から送信される。
このTLVパケット列が、放送局等の送信装置20から送信される。
(B)受信再生データとして処理される1つのTLVパケットは、テレビや録画機等の情報処理装置30が受信し、再生処理を行う1つのTLVパケットである。(A)に示すTLVパケット列を構成する1つのTLVパケットの詳細構成を示している。
先に図2を参照して説明したMMT(MPEG Media Transport)フォーマットを有するTLVパケットである。
先に図2を参照して説明したMMT(MPEG Media Transport)フォーマットを有するTLVパケットである。
(C)メディア記録用データの構成として示すMMTPパケット列は、現在、メディアに対する記録データとして提案されているMMTPパケット列である。
メディアに記録されるMMTPパケットは、図9(B)との対応関係を示す点線から理解されるように、TLVパケットの一部の構成データであるMMTPパケットであり、以下の要素から構成される。
(a)MMTPパケットヘッダ(MMTP_packet_header)
(b)MMTPパケットデータ(MMTP_packet_data)(=ペイロード)
メディアに記録されるMMTPパケットは、図9(B)との対応関係を示す点線から理解されるように、TLVパケットの一部の構成データであるMMTPパケットであり、以下の要素から構成される。
(a)MMTPパケットヘッダ(MMTP_packet_header)
(b)MMTPパケットデータ(MMTP_packet_data)(=ペイロード)
なお、MMTPパケットデータ(MMTP_packet_data)(=ペイロード)は以下の要素によって構成される。
(b1)MMTPペイロードヘッダ(MMTP_payload_header)
(b2)MMTPペイロードデータ(MMTP_payload_data)
(b1)MMTPペイロードヘッダ(MMTP_payload_header)
(b2)MMTPペイロードデータ(MMTP_payload_data)
現在、情報記録媒体(メディア)に対する記録データとして提案されている一つの構成が、この図9(C)に示すような、TLVパケットの構成要素であるMMTPパケットのみを取り出して、一列に並べて記録する構成である。
図10は、BDやフラッシュメモリ、あるいはHDD(ハードディスク)等の記録メディアに、MMTP(MMT Protocol)パケットではなく、MMTPパケットを格納した上位のTLVパケットのパケット列を記録する処理例を説明する図である。
図10には、図9と同様、以下の3つのデータを示している。
(A)放送配信データであるTLVパケット列
(B)受信再生データとして処理される1つのTLVパケット
(C)メディア記録用データの構成として提案されているTLVパケット列
(A)放送配信データであるTLVパケット列
(B)受信再生データとして処理される1つのTLVパケット
(C)メディア記録用データの構成として提案されているTLVパケット列
(A),(B)は、図9を参照して説明したと同様のデータである。
(C)メディア記録用データの構成として示すTLVパケット列は、現在、メディアに対する記録データとして提案されているもう1つの例であるTLVパケット列である。
メディアに記録されるTLVパケットは、図10(B)との対応関係を示す点線から理解されるように、MMTPパケットを含むTLVパケットであり、以下の要素から構成される。
(a)TLVパケットヘッダ(TLV_header)
(b)TLVパケットデータ(TLV_data)(=ペイロード)
(C)メディア記録用データの構成として示すTLVパケット列は、現在、メディアに対する記録データとして提案されているもう1つの例であるTLVパケット列である。
メディアに記録されるTLVパケットは、図10(B)との対応関係を示す点線から理解されるように、MMTPパケットを含むTLVパケットであり、以下の要素から構成される。
(a)TLVパケットヘッダ(TLV_header)
(b)TLVパケットデータ(TLV_data)(=ペイロード)
このように、BD等のメディアに対するMMTフォーマットデータの記録態様として、
図9を参照して説明したMMTP(MMT Protocol)パケットのパケット列、あるいは、
図10を参照して説明したTLV(Type Length Value)パケットのパケット列、
これらいずれかのパケット列として記録することが想定される。
図9を参照して説明したMMTP(MMT Protocol)パケットのパケット列、あるいは、
図10を参照して説明したTLV(Type Length Value)パケットのパケット列、
これらいずれかのパケット列として記録することが想定される。
図9、または図10に示すような設定でMMTフォーマットデータをメディアに記録して、MMTフォーマットデータの再生処理をBDAVフォーマット対応の再生アプリケーションを利用して行う場合、BDAVフォーマット対応の再生制御情報ファイル、すなわち、プレイリストファイルやクリップ情報ファイルを利用して再生を行うことになる。
なお、BDAVフォーマットはデータ記録フォーマットであるとともにデータ記録再生アプリケーション規格にも対応しており、BDAVフォーマットに従ってメディアに記録されたデータの再生は、BDAVフォーマット対応の再生アプリケーションを利用して実行される。
なお、BDAVフォーマットはデータ記録フォーマットであるとともにデータ記録再生アプリケーション規格にも対応しており、BDAVフォーマットに従ってメディアに記録されたデータの再生は、BDAVフォーマット対応の再生アプリケーションを利用して実行される。
BDAVフォーマットは、再生制御情報ファイルであるプレイリストファイルやクリップ情報ファイル等のBDAVフォーマット固有のデータベースファイルを規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)の記録情報を利用してデータ再生処理を実行する。
前述したように、BDAVフォーマット規定のプレイリストファイルやクリップ情報ファイル等のデータベースファイルは、もともと、MPEG-2TSフォーマットの配信データに基づいて生成可能なファイルとして規定されたものである。
従って、MPEG-2TSフォーマットとはフォーマットの異なるMMTフォーマットに従った配信データは、現行のBDAVフォーマット規定のプレイリストファイルやクリップ情報ファイルにそのまま記録しても、現行のBDAV対応再生アプリケーションが利用できないデータとなる場合がある。
従って、MPEG-2TSフォーマットとはフォーマットの異なるMMTフォーマットに従った配信データは、現行のBDAVフォーマット規定のプレイリストファイルやクリップ情報ファイルにそのまま記録しても、現行のBDAV対応再生アプリケーションが利用できないデータとなる場合がある。
MMTフォーマットデータをメディアに記録し、BDAVフォーマット対応アプリを利用してコンテンツ再生を行うことを可能とするためには、メディアに対するMMTフォーマットデータの記録処理に際して、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを生成してメディアに記録することが必要となる。
また、メディアに記録されたMMTフォーマットデータの再生時には、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを利用して再生を行うことが必要となる。
また、メディアに記録されたMMTフォーマットデータの再生時には、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを利用して再生を行うことが必要となる。
具体的には、図11に示すように、MMTフォーマットデータ格納クリップAVストリームファイル51対応のクリップ情報ファイル(nnnnn.clpi)52と、プレイリストファイル(nnnnn.rpls)53を生成して、メディア(BD,フラッシュメモリ,HDD等)に記録して再生に利用する処理が必要となる。
メディアに記録されたMMTフォーマットデータ格納クリップAVストリームファイル51を再生する場合には、このMMTフォーマットデータ格納クリップAVストリームファイル51対応のクリップ情報ファイル(nnnnn.clpi)52と、プレイリストファイル(nnnnn.rpls)53を利用して再生処理を行うことができる。
しかし、前述したように、放送局の配信データであるMMTフォーマットに従って配信されるデータは、BDAVフォーマットで規定するプレイリストファイルやクリップ情報ファイルの記録用データを全て含むようには構成されていない。
また、MMTフォーマットデータ格納クリップAVストリームファイル51は、MPEG-2TSフォーマットデータとは異なるデータ形式となり、MPEG-2TSフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルと同一形式のデータを持つプレイリストファイルやクリップ情報ファイルを利用しても、正しい再生処理は実行できないという問題がある。
また、MMTフォーマットデータ格納クリップAVストリームファイル51は、MPEG-2TSフォーマットデータとは異なるデータ形式となり、MPEG-2TSフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルと同一形式のデータを持つプレイリストファイルやクリップ情報ファイルを利用しても、正しい再生処理は実行できないという問題がある。
従って、このMMTフォーマットデータをメディアに記録して、BDAVフォーマット対応アプリを利用してコンテンツ再生を行うためには、MMTフォーマットデータ格納クリップAVストリームファイル51の再生制御を行うことができるMMTフォーマットデータ固有のデータ形式を持つプレイリストファイルやクリップ情報ファイルを生成してメディアに記録することが必要となる。
[5.メディアに記録されたMMTフォーマットデータに対する編集処理を行う場合の問題点について]
次に、メディアに記録されたMMTフォーマットデータに対する編集処理を行う場合の問題点について説明する。
次に、メディアに記録されたMMTフォーマットデータに対する編集処理を行う場合の問題点について説明する。
例えばBD(Blu-ray(登録商標) Disc)やフラッシュメモリやHDD(ハードディスク)等の記録メディアに、画像、音声、字幕等のコンテンツを格納したMMTPパケットやTLVパケットを記録した場合、ユーザは、さらにそのメディア記録データに対する編集処理を行う場合がある。
例えば番組コンテンツ中のCM部分を削除するような編集処理や、ユーザのお気に入り部分のコンテンツのみを残し、他の部分を削除するといった様々な編集処理が行われる可能性がある。
編集対象となる画像、音声、字幕等の再生データは、クリップAVストリームファイルに格納されている。
しかし、クリップAVストリームファイルを構成するパケット(MMTPパケット、またはTLVパケット)には、画像や音声等の再生データのみならず、制御情報(SI)も格納されている。
制御情報には、例えば、画像や音声データの再生処理に適用するタイムスタンプ等の情報も含まれる。
具体的には、例えば再生時間情報を規定したPTS(Presentation Timestamp)や、復号時間情報を規定したDTS(Decoding Timestamp)等のタイムスタンプである。
しかし、クリップAVストリームファイルを構成するパケット(MMTPパケット、またはTLVパケット)には、画像や音声等の再生データのみならず、制御情報(SI)も格納されている。
制御情報には、例えば、画像や音声データの再生処理に適用するタイムスタンプ等の情報も含まれる。
具体的には、例えば再生時間情報を規定したPTS(Presentation Timestamp)や、復号時間情報を規定したDTS(Decoding Timestamp)等のタイムスタンプである。
すなわち、クリップAVストリームファイルには、画像、音声、字幕等の再生データとともに、これらの再生処理に適用する制御情報が混在して格納されている。
画像や音声等の再生データの格納パケットと、制御情報の格納パケットは異なるパケットである。従って、画像データの格納パケットのメディア上の記録位置と、その画像データ再生用のタイムスタンプ等の制御情報の格納パケットの記録位置は、多くの場合、離間した位置にある。
画像や音声等の再生データの格納パケットと、制御情報の格納パケットは異なるパケットである。従って、画像データの格納パケットのメディア上の記録位置と、その画像データ再生用のタイムスタンプ等の制御情報の格納パケットの記録位置は、多くの場合、離間した位置にある。
このようなメディア記録データに対して、例えば、ユーザのお気に入り部分の画像格納パケットを残存させ、その他のパケットを消去するといった編集処理が行われる可能性がある。
このようなデータ編集処理が行われると、必要な画像を残しても、その画像再生に必要なタイムスタンプ等の制御情報が消去される場合がある。このような場合、残存させた画像の再生が実行できなくなるといった問題が発生する。
このようなデータ編集処理が行われると、必要な画像を残しても、その画像再生に必要なタイムスタンプ等の制御情報が消去される場合がある。このような場合、残存させた画像の再生が実行できなくなるといった問題が発生する。
図12を参照して、BD等のメディアに記録されたデータの編集処理例について説明する。
図12には、BD等のメディアに記録されたクリップAVストリームファイルの一部を構成するパケット列の一例を示している。
図12には、BD等のメディアに記録されたクリップAVストリームファイルの一部を構成するパケット列の一例を示している。
なお、図に示す例は、メディアに記録されたクリップAVストリームファイルが、TLVパケット列によって構成されている例である。
先に図9、図10を参照して説明したように、メディアに対する記録データは、
MMTPパケット列、または、
TLVパケット列、
これらいずれかの設定とすることが想定されている。
先に図9、図10を参照して説明したように、メディアに対する記録データは、
MMTPパケット列、または、
TLVパケット列、
これらいずれかの設定とすることが想定されている。
以下の実施例では、一例として、クリップAVストリームファイルが、TLVパケット列によって構成されている場合の例について説明するが、以下に説明する実施例は、メディア記録データがMMTPパケットである場合も適用可能である。
すなわち、以下の実施例の説明における「TLVパケット」を「MMTPパケット」に置き換えることが可能である。
すなわち、以下の実施例の説明における「TLVパケット」を「MMTPパケット」に置き換えることが可能である。
図12に示す例は、BD等のメディアに記録されたMMTフォーマットデータから構成されるTLVパケット列に対するデータ編集処理の一例である。
ユーザは、図12に示す削除区間ABを削除する編集を行うものとする。
ユーザは、図12に示す削除区間ABを削除する編集を行うものとする。
ここで、残存区間にある画像等の再生データの再生処理に必要となるタイムスタンプ等の制御情報が削除区間AB内に存在する場合がある。
具体的には、例えば再生時間情報を規定したPTS(Presentation Timestamp)や、復号時間情報を規定したDTS(Decoding Timestamp)等のタイムスタンプである。
この場合、削除区間ABを削除してしまうと、削除区間AB以外の残存区間にある画像等の再生データの再生処理が不可能になる。
具体例について、図13を参照して説明する
具体的には、例えば再生時間情報を規定したPTS(Presentation Timestamp)や、復号時間情報を規定したDTS(Decoding Timestamp)等のタイムスタンプである。
この場合、削除区間ABを削除してしまうと、削除区間AB以外の残存区間にある画像等の再生データの再生処理が不可能になる。
具体例について、図13を参照して説明する
図13は、図12と同様、BD等のメディアに記録されたMMTフォーマットデータから構成されるTLVパケット列に対するデータ編集処理の一例である。
ユーザは、図13に示す削除区間ABを削除する編集を行うものとする。
ここで、残存区間には、画像等の再生データを格納した再生データ格納パケット101がある。
ユーザは、図13に示す削除区間ABを削除する編集を行うものとする。
ここで、残存区間には、画像等の再生データを格納した再生データ格納パケット101がある。
この再生データ格納パケット101に格納された画像データの再生処理に適用するためのタイムスタンプを記録した制御情報を格納した制御情報格納パケット102が削除区間AB内に存在する。
この場合、削除区間ABを削除してしまうと、残存区間にある再生データ格納パケット101に格納された画像等の再生データの再生タイミング情報、すなわちタイムスタンプを、制御情報格納パケット102から取得することができない。
この結果、再生データ格納パケット101に格納された画像等の再生処理が不可能となる。
この場合、削除区間ABを削除してしまうと、残存区間にある再生データ格納パケット101に格納された画像等の再生データの再生タイミング情報、すなわちタイムスタンプを、制御情報格納パケット102から取得することができない。
この結果、再生データ格納パケット101に格納された画像等の再生処理が不可能となる。
なお、制御情報格納パケット102に格納されるタイムスタンプを記録した制御情報は、具体的には、例えばMMTフォーマットにおいて規定されるMMTパッケージテーブル(MPT)に記録されている。
先に図2他を参照して説明したように、MMTフォーマットデータには、情報処理装置30側においてコンテンツ(番組)を受信、再生するために必要となる制御情報や、番組ガイド等の案内情報や通知情報、管理情報等によって構成される制御情報(シグナリング情報)が含まれる。
MMTフォーマットで規定された制御情報(シグナリング情報)には、MMTPパケットで送信されるシグナリング情報(MMT-SI)と、TLVパケットで送信されるシグナリング情報(TLV-SI)がある。
MMTフォーマットで規定された制御情報(シグナリング情報)には、MMTPパケットで送信されるシグナリング情報(MMT-SI)と、TLVパケットで送信されるシグナリング情報(TLV-SI)がある。
MMTPパケットで送信されるシグナリング情報(MMT-SI)の一つにMMTパッケージテーブル(MPT:MMT Package Table)がある。MMTパッケージテーブル(MPT)は、例えば画像、音声、字幕等、のデータ種類(アセットタイプ)毎に、データの属性情報(アセット記述子)を詳細に記録したテーブルてある。
MMTパッケージテーブル(MPT)には、再生時間情報を規定したPTS(Presentation Timestamp)、復号時間情報を規定したDTS(Decoding Timestamp)等のタイムスタンプが記録されている。
なお、MMTパッケージテーブル(MPT:MMT Package Table)は、パケットID=0x0000のMMTPパケットに格納されており、情報処理装置は、パケットヘッダに記録されたパケットIDに基づいてMMTパッケージテーブル(MPT)の格納パケットを判別することができる。
なお、MMTパッケージテーブル(MPT:MMT Package Table)は、パケットID=0x0000のMMTPパケットに格納されており、情報処理装置は、パケットヘッダに記録されたパケットIDに基づいてMMTパッケージテーブル(MPT)の格納パケットを判別することができる。
なお、再生データ格納パケットと、その再生データの再生に必要となるタイムスタンプ等の制御情報を格納した制御情報(MPT)格納パケットとの送信間隔についてはMMTフォーマット上の規定があり、放送局等の送信装置からの各パケットの送信間隔は2700ms~500msの範囲とするように規定されている。
なお、制御情報(MPT)格納パケットについては、受信エラー等の対策として、再生データ格納パケットの後に再送することも許容されている。
なお、制御情報(MPT)格納パケットについては、受信エラー等の対策として、再生データ格納パケットの後に再送することも許容されている。
放送局等の送信装置から受信されるパケット列を受信して、BD等のメディアに記録する記録装置は、受信パケット列を順次、メディアに記録することになる。
この結果として、図13に示すようなパケット列がメディアに記録される。
この結果として、図13に示すようなパケット列がメディアに記録される。
データの再生処理に適用するためのタイムスタンプを記録した制御情報であるMMTパッケージテーブル(MPT:MMT Package Table)の構成について図14を参照して説明する。
図14は、MMTパッケージテーブル(MPT)のデータ構成(シンタクス)を示す図である。
図14には、MMTパッケージテーブル(MPT)のデータ構造(Syntax)、ビット数(No. of bits)、データ表記(Mnemonic)を示している。
なお、データ表記中の「uimsbf」は「符号無し整数、最上位ビットが先頭」(unsigned integer most significant bit first)表記を意味する。
「bslbf」は、「ビット列、左ビットが先頭(bit string,left bit first)を意味する。
図14には、MMTパッケージテーブル(MPT)のデータ構造(Syntax)、ビット数(No. of bits)、データ表記(Mnemonic)を示している。
なお、データ表記中の「uimsbf」は「符号無し整数、最上位ビットが先頭」(unsigned integer most significant bit first)表記を意味する。
「bslbf」は、「ビット列、左ビットが先頭(bit string,left bit first)を意味する。
MMTフォーマットにおいて規定されたMMTパッケージテーブル(MPT:MMT Package Table)は、前述したように、例えば画像、音声、字幕等、のデータ種類(アセットタイプ)毎に、データの属性情報(アセット記述子)を詳細に記録したテーブルである。
MMTパッケージテーブル(MPT)には、図14に示すように、
アセットタイプ(asset_type)
アセット記述子(asset_descriptors_byte)
これらのデータ記録領域が含まれる。
アセットタイプ(asset_type)
アセット記述子(asset_descriptors_byte)
これらのデータ記録領域が含まれる。
アセットタイプ(asset_type)は、画像、音声、字幕等のデータ種類別の識別子を記録する領域である。アセットとは、共通属性を持つデータ処理の単位であり、画像、音声、字幕等は、各々、異なるアセットとして設定される。
MMTパッケージテーブル(MPT)に記録されるアセットタイプ(asset_type)の具体例を図15に示す。
MMTパッケージテーブル(MPT)に記録されるアセットタイプ(asset_type)の具体例を図15に示す。
図15に示すように、MPTに記録されるアセットタイプ(asset_type)には、例えば以下の種類がある。
hvc1:HEVC画像
mp4a:音声
stpp:字幕等
aapp:アプリケーション
図14に示すMPTのアセットタイプ(asset_type)記録フィールドには、例えば上記のいずれかのタイプ情報が記録される。
hvc1:HEVC画像
mp4a:音声
stpp:字幕等
aapp:アプリケーション
図14に示すMPTのアセットタイプ(asset_type)記録フィールドには、例えば上記のいずれかのタイプ情報が記録される。
図14のMPTの下段に示す、
アセット記述子(asset_descriptors_byte)
このフィールドには、各アセットタイプ(例えば画像、音声、字幕)、これらのデータ種類に応じた様々な属性情報が記録される。
アセット記述子(asset_descriptors_byte)
このフィールドには、各アセットタイプ(例えば画像、音声、字幕)、これらのデータ種類に応じた様々な属性情報が記録される。
このアセット記述子(asset_descriptors_byte)として記録される情報の一つに画像や音声等の再生時間情報が含まれる。
再生時間情報は、NTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
再生時間情報は、NTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
図16に、MMTパッケージテーブル(MPT)にアセット記述子(asset_descriptors_byte)として記録されるMPU単位の再生時間情報(タイムスタンプ)を記録したMPUタイムスタンプ記述子のデータ構成(シンタクス)を示す。
なお、MPUは、先に図3を参照して説明したように、図3(a)に示すMPU(Media Presentation Unit)であり、MMTフォーマットにおける1つのデータ処理単位である。図3(a)に示す例は、画像データのMPUの例であり、いわゆる符号化、復号処理単位としてのGOP(Group of Pictures)と同じ単位である。
MMTパッケージテーブル(MPT)に記録されるMPUタイムスタンプ記述子は、このMPU単位の再生時間情報に相当する。
図16に示すように、MPUタイムスタンプ記述子には、以下の各データが記録される。
MPUシーケンス番号(MPU_sequence_number)
MPU再生時刻(MPU_presentation_time)
図16に示すように、MPUタイムスタンプ記述子には、以下の各データが記録される。
MPUシーケンス番号(MPU_sequence_number)
MPU再生時刻(MPU_presentation_time)
MPUシーケンス番号(MPU_sequence_number)には、MPUの識別子が記録される。
MPU再生時刻(MPU_presentation_time)には、MPUの再生時間(提示時間)がNTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
なお、NTP時間(NTPタイムスタンプ)は、例えば64ビットデータの絶対時刻情報、すなわち予め規定された基準時刻からの経過時間を示す絶対時刻情報である。上位32ビットで1秒以上の時間情報(経過時間情報)を示し、下位32ビットで1秒以下の時間情報(経過時間情報)を示す。
なお、全体を32ビットとして、上位16ビットで1秒以上の時間情報を示し、下位16ビットで1秒以下の時間情報を示す短形式のNTP時間情報を用いる設定も可能である。
MPU再生時刻(MPU_presentation_time)には、MPUの再生時間(提示時間)がNTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
なお、NTP時間(NTPタイムスタンプ)は、例えば64ビットデータの絶対時刻情報、すなわち予め規定された基準時刻からの経過時間を示す絶対時刻情報である。上位32ビットで1秒以上の時間情報(経過時間情報)を示し、下位32ビットで1秒以下の時間情報(経過時間情報)を示す。
なお、全体を32ビットとして、上位16ビットで1秒以上の時間情報を示し、下位16ビットで1秒以下の時間情報を示す短形式のNTP時間情報を用いる設定も可能である。
このように、MMTパッケージテーブル(MPT)には、アセット記述子(asset_descriptors_byte)として、MPU単位の再生時間情報(タイムスタンプ)であるMPUタイムスタンプ等のタイムスタンプが記録されている。
情報処理装置30は、情報記録媒体(メディア)にクリップAVストリームファイルを記録する場合、先に図9、図10を参照して説明したように、MMTPパケット列、またはTLVパケット列として記録する。
これらのパケット列には、画像、音声、字幕等の再生データを格納したパケットの他、上述のタイムスタンプを格納したMMTパッケージテーブル(MPT)等の制御情報格納パケットが含まれる。
これらのパケット列には、画像、音声、字幕等の再生データを格納したパケットの他、上述のタイムスタンプを格納したMMTパッケージテーブル(MPT)等の制御情報格納パケットが含まれる。
この結果、任意区間でのデータ削除を行うと、先に図13を参照して説明したような事態が発生する。
すなわち、図13に示す削除区間ABを削除してしまうと、残存区間にある再生データ格納パケット101に格納された画像等の再生データの再生タイミング情報、すなわちタイムスタンプを制御情報格納パケット102から取得することができなくなり、再生データ格納パケット101に格納された画像等の再生処理が不可能となる。
すなわち、図13に示す削除区間ABを削除してしまうと、残存区間にある再生データ格納パケット101に格納された画像等の再生データの再生タイミング情報、すなわちタイムスタンプを制御情報格納パケット102から取得することができなくなり、再生データ格納パケット101に格納された画像等の再生処理が不可能となる。
このような事態を防止するための手法として、制御情報格納パケット102を削除区間ABから取り出して、残存区間内に移動させて残すという手法が考えられる。
このパケット移動記録処理例について、図17を参照して説明する。
このパケット移動記録処理例について、図17を参照して説明する。
図17は、削除区間ABにある制御情報格納パケット102aを残存データ領域に移動して、残存データ内のパケット間に挿入して、制御情報格納パケット102bとして残す処理を説明する図である。
このようなパケット移動処理を行えば、再生データ格納パケット101に格納された画像等の再生データのタイムスタンプを制御情報格納パケット102bから取得することができる。
このようなパケット移動処理を行えば、再生データ格納パケット101に格納された画像等の再生データのタイムスタンプを制御情報格納パケット102bから取得することができる。
しかし、メディア記録データであるクリップAVストリームファイルは、所定の暗号化ユニット(暗号化ブロック)単位で個別の暗号鍵による暗号化処理(ブロック暗号化処理)が施されており、パケットを簡単に移動させることができないという問題がある。
この問題点について、図18以下を参照して説明する。
図18は、クリップAVストリームファイルAVストリームファイルを構成するパケットの暗号化ユニット(暗号化ブロック)の設定例を示す図である。
図18に示す例では、パケット2つを一単位とした暗号化ユニットを設定し、各ユニットにそれぞれ異なる暗号鍵を適用して暗号化を行った例を示している。
この問題点について、図18以下を参照して説明する。
図18は、クリップAVストリームファイルAVストリームファイルを構成するパケットの暗号化ユニット(暗号化ブロック)の設定例を示す図である。
図18に示す例では、パケット2つを一単位とした暗号化ユニットを設定し、各ユニットにそれぞれ異なる暗号鍵を適用して暗号化を行った例を示している。
BD等のメディアに、MMTフォーマットデータを記録する場合、パケット(MMTPパケット、またはTLVパケット)格納データの暗号化処理が必要となる場合がある。
例えば、BD(Blu-Ray(登録商標) Disc)やHD、DVD等の情報記録媒体(メディア)の記録データの著作権保護に関する規格はAACS(Advanced Access Content System)によって規定されており、BD等のメディア記録コンテンツの暗号化態様はAACS規定に従った方式であることが必要となる。
しかし、放送コンテンツについてはAACS規定に拘束されず、AACS規定の暗号化態様が利用する必要がなく、独自の暗号化態様での配信がなされる。
例えば、BD(Blu-Ray(登録商標) Disc)やHD、DVD等の情報記録媒体(メディア)の記録データの著作権保護に関する規格はAACS(Advanced Access Content System)によって規定されており、BD等のメディア記録コンテンツの暗号化態様はAACS規定に従った方式であることが必要となる。
しかし、放送コンテンツについてはAACS規定に拘束されず、AACS規定の暗号化態様が利用する必要がなく、独自の暗号化態様での配信がなされる。
従って、MMTフォーマットデータによって構成される放送波を受信して、情報記録媒体(メディア)にデータを記録する情報処理装置は、放送データとして受信する暗号化データ、あるいはその暗号化データをそのまま記録したハードディスク等の第1メディアの記録データを読み出して、一旦、復号し、その後、AACS規定に従った方式で再暗号化を行ってコピー先の情報記録媒体(第2メディア)に記録することが必要となる。
以下、この暗号化処理の具体的シーケンスについて、図19を参照して説明する。
図19は、メディアに対する記録データ、具体的には、MMTフォーマットに従ったパケット列からなるクリップAVストリームファィルを構成する1つの暗号化ユニットの暗号化処理のシーケンスを説明する図である。
暗号化ユニットの各々は、異なる暗号鍵によってによって暗号化され、AACS規定に従った暗号化データとなる。
図19は、メディアに対する記録データ、具体的には、MMTフォーマットに従ったパケット列からなるクリップAVストリームファィルを構成する1つの暗号化ユニットの暗号化処理のシーケンスを説明する図である。
暗号化ユニットの各々は、異なる暗号鍵によってによって暗号化され、AACS規定に従った暗号化データとなる。
図19に示すステップS11~S13の各処理について説明する。
(ステップS1)
まず、情報処理装置は、ステップS11において、シード情報121の取得処理を行う。シード情報は、暗号化ユニットの暗号化処理に適用する暗号鍵を生成するために利用する情報であり、暗号化ユニット各々において異なる情報となる。
(ステップS1)
まず、情報処理装置は、ステップS11において、シード情報121の取得処理を行う。シード情報は、暗号化ユニットの暗号化処理に適用する暗号鍵を生成するために利用する情報であり、暗号化ユニット各々において異なる情報となる。
このシード情報は、例えば、暗号化ユニットの前段に設定した追加ヘッダの構成データを利用することが可能である。
追加ヘッダは、暗号化ユニット単位で設定し、各ユニット単位で異なる16バイトデータとする。なお、追加ヘッダは、例えば各暗号化ユニットに関するコピー制御情報等を記録したヘッダとすることも可能である。
追加ヘッダは、暗号化ユニット単位で設定し、各ユニット単位で異なる16バイトデータとする。なお、追加ヘッダは、例えば各暗号化ユニットに関するコピー制御情報等を記録したヘッダとすることも可能である。
追加ヘッダは、メディアに対するデータ記録処理を実行する情報処理装置が、MMTフォーマットデータからなる放送波を受信してメディア記録する場合、あるいは、メディア間でのデータコピーを行う場合に生成して記録する。
例えば、メディアに対するデータ記録処理を実行する情報処理装置は、MMTフォーマットデータを構成する制御情報(SI)からコピー制御情報を取得し、取得したコピー制御情報をAACS規定に従ったデータ形式に変換して、追加ヘッダ内に記録する。
例えば、メディアに対するデータ記録処理を実行する情報処理装置は、MMTフォーマットデータを構成する制御情報(SI)からコピー制御情報を取得し、取得したコピー制御情報をAACS規定に従ったデータ形式に変換して、追加ヘッダ内に記録する。
この場合、追加ヘッダは、後続のパケットに格納されたコピー制御情報を含み、各追加ヘッダ単位で異なるデータとなるように設定される。
この追加ヘッダの構成データを各暗号化ユニットの暗号化生成に適用するシード情報として利用することで、各暗号化ユニットに適用する暗号鍵を各ユニット単位で異ならせることができる。
この追加ヘッダの構成データを各暗号化ユニットの暗号化生成に適用するシード情報として利用することで、各暗号化ユニットに適用する暗号鍵を各ユニット単位で異ならせることができる。
なお、追加ヘッダを設定せず、クリップAVストリームファイルとは別のファイル、例えば利用制御情報ファイル(Usage File)に、各ユニット対応のシード情報を記録する構成としてもよい。
このように、ステップS11において、情報処理装置は、各暗号化ユニット単位の追加ヘッダ、あるいは利用制御情報ファイル(Usage File)等の別ファイルから、暗号化ユニットごとに異なるシード情報(16バイト)121の取得処理を行う。
(ステップS12)
次に、情報処理装置は、ステップS12において、シード情報121に対して、予め乱数生成処理等により生成したタイトル鍵122を適用した一方向性関数による演算を実行して、ブロック鍵123を生成する。
すなわち、暗号化ユニット(暗号化ブロック)単位(=暗号化処理単位)の暗号鍵であるブロック鍵123を生成する。
次に、情報処理装置は、ステップS12において、シード情報121に対して、予め乱数生成処理等により生成したタイトル鍵122を適用した一方向性関数による演算を実行して、ブロック鍵123を生成する。
すなわち、暗号化ユニット(暗号化ブロック)単位(=暗号化処理単位)の暗号鍵であるブロック鍵123を生成する。
(ステップS13)
次に、情報処理装置は、ステップS13において、平文TLVパケットデータからなる暗号化処理対象ユニット124を入力して、ステップS12で生成したブロック鍵を適用した暗号化処理を実行して暗号化ユニット、すなわちクリップAVストリームファイル内の構成データである暗号化ユニット125を生成する。
なお、平文TLVパケットデータからなる暗号化処理対象ユニット124は、放送局等から送信される暗号化データを復号して得た平文TLVパケットデータである。再生処理に際して復号された結果と同じデータである。
次に、情報処理装置は、ステップS13において、平文TLVパケットデータからなる暗号化処理対象ユニット124を入力して、ステップS12で生成したブロック鍵を適用した暗号化処理を実行して暗号化ユニット、すなわちクリップAVストリームファイル内の構成データである暗号化ユニット125を生成する。
なお、平文TLVパケットデータからなる暗号化処理対象ユニット124は、放送局等から送信される暗号化データを復号して得た平文TLVパケットデータである。再生処理に際して復号された結果と同じデータである。
ブロック鍵を適用した暗号化処理を実行して生成した暗号化ユニット125、すなわち暗号化TLVパケットデータを、情報記録媒体(メディア)に記録する。
なお、ブロック鍵を適用した暗号化処理は、例えば、ECBモードやCBCモードを適用した暗号化処理として実行可能である。また、これらの暗号化処理を行う場合にパディングデータを付加する設定としてもよい。例えばAES等のブロック暗号との相性を考えて、暗号化TLVパケットが16バイトの倍数となるように000・・・0等のデータ列からなるパディングデータを付加する設定としてもよい。
なお、ブロック鍵を適用した暗号化処理は、例えば、ECBモードやCBCモードを適用した暗号化処理として実行可能である。また、これらの暗号化処理を行う場合にパディングデータを付加する設定としてもよい。例えばAES等のブロック暗号との相性を考えて、暗号化TLVパケットが16バイトの倍数となるように000・・・0等のデータ列からなるパディングデータを付加する設定としてもよい。
クリップAVストリームファイルを構成するすべてのパケットについて、同様のユニット単位の異なる暗号鍵で暗号化処理(ブロック暗号化処理)を実行して、クリップAVストリームファイルとして、BD等の情報記録媒体に記録する。
なお、図19を参照して説明した各暗号化ユニット対応の暗号鍵は、暗号化ユニットを復号する復号鍵としても利用可能である。情報記録媒体に記録された暗号化ユニットを復号する場合、図19に示す処理シーケンスと同様のシーケンスで暗号鍵(復号鍵)を生成し、生成した暗号鍵(復号鍵)を適用して暗号化ユニット単位の復号処理を行うことができる。
なお、図18、図19を参照して説明した例では、暗号化ユニットを2つのTLVパケットによって構成される設定としたが、これは一例であり、暗号化ユニットは、様々な設定が可能である。
例えば、暗号化ユニットは、以下のような設定が可能である。
(a)暗号化ユニット=固定データ長単位、
(b)暗号化ユニット=可変データ長単位、
(a)暗号化ユニット=固定データ長単位、
(b)暗号化ユニット=可変データ長単位、
(a)は暗号化ユニットを固定データ長とした例である。
具体的には、例えば、
1つの暗号化ユニット=6Kバイト
1つの暗号化ユニット=128Kバイト
このような固定バイトサイズとする。
なお、固定サイズの暗号化ユニットに対して、暗号鍵生成データとなるシード情報を含む追加ヘッダを設定した構成と、しない構成とが可能である。
具体的には、例えば、
1つの暗号化ユニット=6Kバイト
1つの暗号化ユニット=128Kバイト
このような固定バイトサイズとする。
なお、固定サイズの暗号化ユニットに対して、暗号鍵生成データとなるシード情報を含む追加ヘッダを設定した構成と、しない構成とが可能である。
(b)は暗号化ユニットを可変データ長とした例である。
具体的には、
1つの暗号化ユニット=1つのパケット(MMTPパケットまたはTLVパケット)
1つの暗号化ユニット=複数のパケット(MMTPパケットまたはTLVパケット)
1つの暗号化ユニット=パケット(MMTPパケットまたはTLVパケット)構成データ(可変データ長)
このような可変データサイズとする。なお、この可変サイズの場合も、暗号化ユニットに対して、暗号鍵生成データとなるシード情報を含む追加ヘッダを設定した構成と、しない構成とが可能である。
具体的には、
1つの暗号化ユニット=1つのパケット(MMTPパケットまたはTLVパケット)
1つの暗号化ユニット=複数のパケット(MMTPパケットまたはTLVパケット)
1つの暗号化ユニット=パケット(MMTPパケットまたはTLVパケット)構成データ(可変データ長)
このような可変データサイズとする。なお、この可変サイズの場合も、暗号化ユニットに対して、暗号鍵生成データとなるシード情報を含む追加ヘッダを設定した構成と、しない構成とが可能である。
一例として、上記(b)の暗号化ユニットを可変データ長とした例を図20に示す。
図20は、複数パケット単位で暗号化ユニットを設定したメディア記録データの構成例を示す図である。
放送局等の送信装置からの受信データをメディアに記録する情報処理装置は、図20に示すように、複数(N個)のパケット(MMTPパケットまたはTLVパケット)に対して1つのコピー制御情報を記録した追加ヘッダを設定して記録する。
図20は、複数パケット単位で暗号化ユニットを設定したメディア記録データの構成例を示す図である。
放送局等の送信装置からの受信データをメディアに記録する情報処理装置は、図20に示すように、複数(N個)のパケット(MMTPパケットまたはTLVパケット)に対して1つのコピー制御情報を記録した追加ヘッダを設定して記録する。
図20には、以下の2つのデータ記録例であるパケット列を示している。
(A1)複数(N個)のMMTPパケットに対して1つの追加ヘッダを設定したMMTPパケット列
(A2)複数(N個)のTLVパケットに対して1つの追加ヘッダを設定したTLVパケット列
(A1)複数(N個)のMMTPパケットに対して1つの追加ヘッダを設定したMMTPパケット列
(A2)複数(N個)のTLVパケットに対して1つの追加ヘッダを設定したTLVパケット列
(A1)に示す例は、メディアに記録するMMTPパケット130をN個単位で区切り、N個のMMTPパケットの先頭部分に、追加ヘッダ(MMTPパケット追加ヘッダ131)を設定して、メディアに記録する例である。
(A2)に示す例は、メディアに記録するTLVパケット132をN個単位で区切り、N個のTLVパケットの先頭部分に、追加ヘッダ(TLVパケット追加ヘッダ133)を設定して、メディアに記録する例である。
本例において、Nは2以上である。
(A2)に示す例は、メディアに記録するTLVパケット132をN個単位で区切り、N個のTLVパケットの先頭部分に、追加ヘッダ(TLVパケット追加ヘッダ133)を設定して、メディアに記録する例である。
本例において、Nは2以上である。
MMTPパケット追加ヘッダ131には、例えば、後続の複数(N個)のMMTPパケット130の格納データに対応するコピー制御情報が記録される。
TLVパケット追加ヘッダ133には、後続の複数(N個)のTLVパケット132の格納データに対応するコピー制御情報が記録される。
TLVパケット追加ヘッダ133には、後続の複数(N個)のTLVパケット132の格納データに対応するコピー制御情報が記録される。
この追加ヘッダをメディアに記録することで、コピー処理を実行するコピー装置(情報処理装置)は、追加ヘッダの記録内容に基づいて後続の複数のMMTPパケット、またはTLVパケットの格納データについてのMMTフォーマット対応のコピー制御情報を取得することが可能となる。
[6.メディアに記録されたMMTフォーマットデータの確実な再生を可能とする編集処理について]
次に、メディアに記録されたMMTフォーマットデータの確実な再生を可能とする編集処理について説明する。
次に、メディアに記録されたMMTフォーマットデータの確実な再生を可能とする編集処理について説明する。
メディアに記録されたMMTフォーマットデータの確実な再生を可能とするためには、許容する編集処理や禁止する編集処理等、様々な編集制限を設定することが必要となる。以下、これらの編集制限について説明する。
以下の項目に従って、順次、説明する。
以下の項目に従って、順次、説明する。
(1)暗号化ユニット単位を削除許容単位とする編集制限
(2)残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限
(2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理
(2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理
(2-3)残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理
(2-4)残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理
(3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限
(2)残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限
(2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理
(2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理
(2-3)残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理
(2-4)残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理
(3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限
[6-1.(1)暗号化ユニット単位を削除許容単位とする編集制限]
まず、暗号化ユニット単位を削除許容単位とする編集制限について説明する。
まず、暗号化ユニット単位を削除許容単位とする編集制限について説明する。
先に図18~図20を参照して説明したようにBD等のメディアに記録されるクリップAVストリームファイルは、暗号化ユニット単位で異なる暗号鍵によって暗号化されたデータである。
従って、データ削除単位を暗号化ユニット単位としないと、暗号化ユニットの再設定や、暗号化処理のやり直しが必要となる。
このような処理を避けるため、許容するデータ削除単位を暗号化ユニット単位とする編集制限を設定する。
具体例について、図21を参照して説明する。
このような処理を避けるため、許容するデータ削除単位を暗号化ユニット単位とする編集制限を設定する。
具体例について、図21を参照して説明する。
図21は、許容される編集処理例を示す図である。すなわち、削除区間を暗号化ユニット単位とした例である。
図21に示す(許容編集処理例1)は、削除区間ABを1つの暗号化ユニットとした例であり、このような設定でのデータ削除は許容される。
なお、この削除区間に残存区間の再生データの再生に適用するタイムスタンプ等の制御情報が記録されている場合は、その制御情報を移動する処理が必要である。この処理については後述する。
図21に示す(許容編集処理例1)は、削除区間ABを1つの暗号化ユニットとした例であり、このような設定でのデータ削除は許容される。
なお、この削除区間に残存区間の再生データの再生に適用するタイムスタンプ等の制御情報が記録されている場合は、その制御情報を移動する処理が必要である。この処理については後述する。
図21に示す(許容編集処理例2)は、削除区間ABを複数の暗号化ユニットとした例であり、このような設定でのデータ削除も許容される。
なお、この場合でも、削除区間に残存区間の再生データの再生に適用するタイムスタンプ等の制御情報が記録されている場合は、その制御情報を移動する処理が必要である。この処理については後述する。
なお、この場合でも、削除区間に残存区間の再生データの再生に適用するタイムスタンプ等の制御情報が記録されている場合は、その制御情報を移動する処理が必要である。この処理については後述する。
次に、図22を参照して許容されない編集処理例について説明する。
図22に示す例は、削除区間が暗号化ユニット単位でない例である。
図22に示す(非許容編集処理例1)は、削除区間ABが、1つの暗号化ユニットより小さく設定した例であり、このような設定でのデータ削除は許容しない。
図22に示す例は、削除区間が暗号化ユニット単位でない例である。
図22に示す(非許容編集処理例1)は、削除区間ABが、1つの暗号化ユニットより小さく設定した例であり、このような設定でのデータ削除は許容しない。
また、図22に示す(非許容編集処理例2)は、削除区間ABが、1つの暗号化ユニットより大きいが、2つの暗号化ニットより小さく設定した例であり、このような設定でのデータ削除も許容しない。
このように、データ編集処理におけるデータ削除処理は、暗号化ユニット単位で実行する場合のみ許容する設定とする。
このように、データ編集処理におけるデータ削除処理は、暗号化ユニット単位で実行する場合のみ許容する設定とする。
[6-2.(2)残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限]
次に、残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限について説明する。
図21~図22を参照して説明したように、削除区間は、暗号化ユニットを単位とすることを原則とするが、この削除区間内に残存区間の再生データの再生に適用するタイムスタンプ等の制御情報(MPT)が記録されている場合は、その制御情報を移動する処理が必要である。以下、この処理について説明する。
次に、残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限について説明する。
図21~図22を参照して説明したように、削除区間は、暗号化ユニットを単位とすることを原則とするが、この削除区間内に残存区間の再生データの再生に適用するタイムスタンプ等の制御情報(MPT)が記録されている場合は、その制御情報を移動する処理が必要である。以下、この処理について説明する。
タイムスタンプ等の制御情報(MPT)を格納した制御情報格納パケットを単に残存区間に移動すると、暗号化ユニットの設定が変更されてしまうという問題がある。
図23を参照してこの問題点について説明する。
図23に示す暗号化ユニット03を削除区間ABとして削除する処理を想定する。この削除区間ABには、制御情報格納パケット202aがあり、このパケットは、残存区間の再生データ格納パケット201のタイムスタンプを格納している。
図23を参照してこの問題点について説明する。
図23に示す暗号化ユニット03を削除区間ABとして削除する処理を想定する。この削除区間ABには、制御情報格納パケット202aがあり、このパケットは、残存区間の再生データ格納パケット201のタイムスタンプを格納している。
この制御情報格納パケット202aを残存区間の暗号化ユニット01と暗号化ユニット02の間に挿入する処理を行うとする。
なお、前述したように、再生データ格納パケットと、その再生データの再生に必要となるタイムスタンプ等の制御情報を格納した制御情報(MPT)格納パケットとの送信間隔についてはMMTフォーマット上の規定があり、放送局等の送信装置からの各パケットの送信間隔は2700ms~500msの範囲とするように規定されている。このフォーマット規定に従って、制御情報格納パケット202aの移動先は、再生データ格納パケット201から、送信間隔ベースで2700ms~500msの範囲とする。
なお、前述したように、再生データ格納パケットと、その再生データの再生に必要となるタイムスタンプ等の制御情報を格納した制御情報(MPT)格納パケットとの送信間隔についてはMMTフォーマット上の規定があり、放送局等の送信装置からの各パケットの送信間隔は2700ms~500msの範囲とするように規定されている。このフォーマット規定に従って、制御情報格納パケット202aの移動先は、再生データ格納パケット201から、送信間隔ベースで2700ms~500msの範囲とする。
図23に示すように、制御情報格納パケット202aを移動して、残存区間の暗号化ユニット01と暗号化ユニット02の間に挿入する。
図23に示すように、制御情報格納パケット202bが残存区間の暗号化ユニット01と暗号化ユニット02の間に挿入される。
図23に示すように、制御情報格納パケット202bが残存区間の暗号化ユニット01と暗号化ユニット02の間に挿入される。
しかし、制御情報格納パケット202bは、元の暗号化ユニットである暗号化ユニット03の一部に過ぎず、暗号化ユニットの設定態様(固定データ長か、可変データ長か)に応じて、以下のような問題が発生する。
(a)暗号化ユニットが固定データ長に規定されている場合、
制御情報格納パケット202bを含む新たな固定データ長の暗号化ユニットを規定することが必要となり、さらに、この処理に伴い、挿入した制御情報格納パケット202bに後続するパケットの全てに対して、あらたなユニット設定と再暗号化処理が必要となる。
制御情報格納パケット202bを含む新たな固定データ長の暗号化ユニットを規定することが必要となり、さらに、この処理に伴い、挿入した制御情報格納パケット202bに後続するパケットの全てに対して、あらたなユニット設定と再暗号化処理が必要となる。
(b)暗号化ユニットが可変データ長に規定されている場合、
制御情報格納パケット202bについて、既存の暗号化ユニットに含める処理を行うことが可能であるが、既存の暗号化ユニット対応のシード情報は、既に追加ヘッダ、または別ファイル(利用制御情報ファイル(Usage File))に記録済みであり、このシード情報の変更が必要となる。
前述したように、シード情報は、暗号化ユニット単位のコピー制御情報を含み、むやみに書き換えることができないという問題がある。
制御情報格納パケット202bについて、既存の暗号化ユニットに含める処理を行うことが可能であるが、既存の暗号化ユニット対応のシード情報は、既に追加ヘッダ、または別ファイル(利用制御情報ファイル(Usage File))に記録済みであり、このシード情報の変更が必要となる。
前述したように、シード情報は、暗号化ユニット単位のコピー制御情報を含み、むやみに書き換えることができないという問題がある。
以下、これらの問題を解決して、残存区間の再生データ対応の制御情報が削除区間内に存在する場合に、編集処理後に残存区間の再生データの再生処理を、制御情報を適用して行うことを可能とする処理例について説明する。
[6-2-1.(2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理]
まず、残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理について説明する。
まず、残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理について説明する。
図24は、本実施例を説明する図である。
削除区間ABには、残存区間の再生データ格納パケット211の再生処理に適用するタイムスタンプを記録したMPT(MMTパッケージテーブル)を含む制御情報格納パケット212aが記録されている。
削除区間ABには、残存区間の再生データ格納パケット211の再生処理に適用するタイムスタンプを記録したMPT(MMTパッケージテーブル)を含む制御情報格納パケット212aが記録されている。
本処理例では、この制御情報格納パケット212aを、規定の暗号化ユニットサイズに拡張するパケットサイズ変更処理を実行する。
図に示す制御情報格納パケット212bが、規定の暗号化ユニットサイズを持つサイズ変更パケットである。
この規定の暗号化ユニットサイズを持つ制御情報格納パケット212bを、残存区間に移動して記録する。
図に示す制御情報格納パケット212bが、規定の暗号化ユニットサイズを持つサイズ変更パケットである。
この規定の暗号化ユニットサイズを持つ制御情報格納パケット212bを、残存区間に移動して記録する。
残存区間に移動して記録する制御情報格納パケット212bは、この1つのパケットを新たな暗号化ユニットとする。
すなわち、本実施例では、この制御情報格納パケット212bに対応する新たなシードを設定し、そのシードを利用した暗号鍵を生成して、生成した暗号鍵によって制御情報格納パケット212bの構成データを暗号化して記録する。
その他のパケットについての処理は不要であり、必要となるデータ処理を低減することができる。
すなわち、本実施例では、この制御情報格納パケット212bに対応する新たなシードを設定し、そのシードを利用した暗号鍵を生成して、生成した暗号鍵によって制御情報格納パケット212bの構成データを暗号化して記録する。
その他のパケットについての処理は不要であり、必要となるデータ処理を低減することができる。
なお、制御情報格納パケット212bの暗号鍵生成に必要となる新たに生成したシード情報は、制御情報格納パケット212bの前段に追加ヘッダとして記録する。あるいは、利用制御情報ファイル(Usage File)等の別ファイル内に記録する。
また、制御情報格納パケット212bの記録先は、このパケット内のタイムスタンプを利用する再生データを格納したパケット、すなわち、図に示す残存区間の再生データ格納パケット211から、送信間隔ベースで2700ms~500msの範囲とする。これは、前述したMMTフォーマット上の規定を満たしたパケット記録構成とするためである。
図24に示すように、本実施例では、削除区間AB内の制御情報格納パケット212aに対して、規定の暗号化ユニットサイズに拡張するパケットサイズ変更処理を実行する。
図に示す制御情報格納パケット212bが、規定の暗号化ユニットサイズを持つサイズ変更パケットである。
図に示す制御情報格納パケット212bが、規定の暗号化ユニットサイズを持つサイズ変更パケットである。
なお、MMTフォーマットにおいて規定されるTLVパケットや、MMTPパケットは、元々、パケットサイズが固定されておらず、様々なサイズのパケットを設定可能である。
ただし、パケットサイズを変更した場合、変更後のパケットサイズ情報をパケットヘッダ等に記録することが必要である。
図25を参照してTLVパケットのパケットヘッダの記録情報について説明する。
ただし、パケットサイズを変更した場合、変更後のパケットサイズ情報をパケットヘッダ等に記録することが必要である。
図25を参照してTLVパケットのパケットヘッダの記録情報について説明する。
図25は、TLVパケットに設定されるTLVヘッダ(TLV header)のデータを示す図である。
図25には、TLVヘッダ(TLV header)のデータ構造(Syntax)、ビット数(No. of bits)、データ表記(Mnemonic)を示している。
図25には、TLVヘッダ(TLV header)のデータ構造(Syntax)、ビット数(No. of bits)、データ表記(Mnemonic)を示している。
図25に示すように、TLVパケットに設定されるTLVヘッダには、TLVパケットのパケットレングスデータ(length)が記録される。
これはTLVパケットのTLVヘッダを除くTLV_data(=TLVペイロード)のデータ長に相当する。具体的には、TLV_data(=TLVペイロード)のデータバイト長が記録される。
これはTLVパケットのTLVヘッダを除くTLV_data(=TLVペイロード)のデータ長に相当する。具体的には、TLV_data(=TLVペイロード)のデータバイト長が記録される。
編集処理を行う情報処理装置は、図24を参照して説明したパケットサイズの拡張を行った場合、このパケットレングスデータ(length)を、拡張処理後のデータサイズに更新する処理を行う。
なお、先に図2を参照して説明したように、MMTフォーマットに従って放送局等からは、様々な制御情報(SI:Signaling Information(シグナリング情報))が送信される。
再生データに関するタイムスタンプを記録したMPT(MMTパッケージテーブル)は、放送局等が送信する制御情報の1つである。
MPTは、多くの場合、MPTを含む様々なテーブルを格納したPA(Packege Access)メッセージに一括して格納され送信される。
再生データに関するタイムスタンプを記録したMPT(MMTパッケージテーブル)は、放送局等が送信する制御情報の1つである。
MPTは、多くの場合、MPTを含む様々なテーブルを格納したPA(Packege Access)メッセージに一括して格納され送信される。
PAメッセージは、さらにTLVパケット、およびMMTPパケットに格納されて送信される。PAメッセージ内にタイムスタンプを記録したMMTパッケージテーブル(MPT)が記録されている。
PAメッセージは、放送波を受信する受信装置側におけるデータ受信および、符号、再生処理等に必要な様々な情報を持つPAテーブルを伝送する。PAテーブルには、複数のテーブルが含まれ、その1つとしてMMTパッケージテーブル(MPT)が含まれる。
PAメッセージは、放送波を受信する受信装置側におけるデータ受信および、符号、再生処理等に必要な様々な情報を持つPAテーブルを伝送する。PAテーブルには、複数のテーブルが含まれ、その1つとしてMMTパッケージテーブル(MPT)が含まれる。
PAメッセージは、TLVパケットに格納されており、図24を参照して説明したように制御情報(MPT)を格納したTLVパケット長を拡張する場合、TLVパケットに格納されたPAメッセージのデータ長を調整する手法が利用化可能である。
以下、図26以下を参照してPAメッセージのデータ長を調整する手法について説明するる
以下、図26以下を参照してPAメッセージのデータ長を調整する手法について説明するる
図26を参照してPAメッセージのデータ構造について説明する。
message_idは、各種シグナリング情報において、PAメッセージを識別する16ビットの固定値である。
versionは、PAメッセージのバージョンを示す、8ビットの整数値のパラメータである。例えばMPTを構成する一部のパラメータでも更新した場合には、versionは+1だけインクリメントされる。
lengthは、このフィールドの直後からカウントされる、当該PAメッセージのサイズをバイト単位で示す、32ビット長のパラメータである。
このPAメッセージのデータサイズを変更した場合、このレングス(length)データを拡張後のデータ長に書き換える。
message_idは、各種シグナリング情報において、PAメッセージを識別する16ビットの固定値である。
versionは、PAメッセージのバージョンを示す、8ビットの整数値のパラメータである。例えばMPTを構成する一部のパラメータでも更新した場合には、versionは+1だけインクリメントされる。
lengthは、このフィールドの直後からカウントされる、当該PAメッセージのサイズをバイト単位で示す、32ビット長のパラメータである。
このPAメッセージのデータサイズを変更した場合、このレングス(length)データを拡張後のデータ長に書き換える。
extensionフィールドには、payloadのフィールドに配置される各テーブルのインデックス情報が配置される。このフィールドには、8ビットのtable_idと、8ビットのtable_versionと、16ビットのtable_lengthが配置される。
PAメッセージのpayloadフィールドには、各テーブルの詳細情報が記録される。
MMTパッケージテーブル(MPT)もここに記録される。
MMTパッケージテーブル(MPT)もここに記録される。
さらに、PAメッセージの最終領域には、図26に示すように、スタッフバイト記録許容領域が設定される。
これは、PAメッセージのデータ長を調整するためのスタッフバイト(オール1)等を記録可能とした領域である。
これは、PAメッセージのデータ長を調整するためのスタッフバイト(オール1)等を記録可能とした領域である。
このスタッフバイト記録許容領域に、スタッフバイト(オール1)を書き込むことで、このPAメッセージを格納したTLVパケットのパケット長を、規定の暗号化ユニットサイズに等しくなるようにパケットサイズを調整することができる。
図27は、PAメッセージのスタッフバイト記録許容領域に記録されるスタッフ記述子(stuffing_descriptor)のデータ構成を示す図である。
descriptor_tagには、スタッフ記述子であることを示すタグ(0x42)が記録される。
descriptor_lengthには、スタッフ記述子の記述子長が記録される。
stuffing_byteには、データ長を調整するための必要なスタッフバイト(オール1)を記録することができる。
descriptor_tagには、スタッフ記述子であることを示すタグ(0x42)が記録される。
descriptor_lengthには、スタッフ記述子の記述子長が記録される。
stuffing_byteには、データ長を調整するための必要なスタッフバイト(オール1)を記録することができる。
このように、図24を参照して説明した制御情報(MPT)格納パケット212aを規定の暗号化ユニットサイズまで拡張する一つの手法として、上述したPAメッセージのスタッフバイト記録領域にデータ(オール1)を記録する手法が適用可能である。
タイムスタンプを記録した制御情報(MPT)格納パケットであるTLVパケット、またはMMTPパケットのパケットサイズを、規定の暗号化ユニットサイズに変更する手法として、上述したPAメッセージのデータ長を変更するという手法が適用可能であるが、さらに、PAメッセージ内に格納されるMPT(MMTパッケージテーブル)自体のデータ長を変更する処理を行う構成としてもよい。
この手法について、図28以下を参照して説明する。
この手法について、図28以下を参照して説明する。
図28は、MMTパッケージテーブル(MPT)のデータ構成(シンタクス)を示す図である。先に図14を参照して説明したと同様のデータである。
このMMTパッケージテーブル(MPT)にも、先に図26を参照して説明したPAメッセージと同様、以下の各データ記録領域が設けられている。
レングス(length)記録領域、
スタッフバイト記録許容領域(MPT_descriptor_byte)
このMMTパッケージテーブル(MPT)にも、先に図26を参照して説明したPAメッセージと同様、以下の各データ記録領域が設けられている。
レングス(length)記録領域、
スタッフバイト記録許容領域(MPT_descriptor_byte)
lengthは、このフィールドの直後からカウントされるMPTのサイズをバイト単位で示す、16ビット長のパラメータである。
スタッフバイト記録許容領域は、MMTパッケージテーブル(MPT)のデータ長を調整するためのスタッフバイト(オール1)等を記録可能とした領域である。
スタッフバイト記録許容領域は、MMTパッケージテーブル(MPT)のデータ長を調整するためのスタッフバイト(オール1)等を記録可能とした領域である。
このスタッフバイト記録許容領域に、スタッフバイト(オール1)を書き込むことで、このMMTパッケージテーブル(MPT)を格納したTLVパケットのパケット長を、規定の暗号化ユニットサイズに等しくなるようにパケットサイズを調整することができる。
図29は、MMTパッケージテーブル(MPT)のスタッフバイト記録許容領域に記録されるスタッフ記述子(stuffing_descriptor)のデータ構成を示す図である。
descriptor_tagには、スタッフ記述子であることを示すタグ(0x42)が記録される。
descriptor_lengthには、スタッフ記述子の記述子長が記録される。
stuffing_byteには、データ長を調整するための必要なスタッフバイト(オール1)を記録することができる。
descriptor_tagには、スタッフ記述子であることを示すタグ(0x42)が記録される。
descriptor_lengthには、スタッフ記述子の記述子長が記録される。
stuffing_byteには、データ長を調整するための必要なスタッフバイト(オール1)を記録することができる。
このように、MMTパッケージテーブル(MPT)のスタッフバイト記録許容領域に、スタッフバイト(オール1)を書き込むことでも、先に図24を参照して説明した制御情報(MPT)格納パケット212aを規定の暗号化ユニットサイズまで拡張することが可能となる。
このいずれかの手法を適用して、図24を参照して説明したように、削除区間にある制御情報格納パケット212aのパケットサイズを、規定の暗号化ユニットサイズに拡張して、サイズを変更した制御情報格納パケット212bを残存区間に移動して記録する処理が可能となる。
編集処理を行う情報処理装置は、図24を参照して説明した処理を行う場合、残存区間に移動した制御情報格納パケット212bを1つの新しい暗号化ユニットとして設定する。
編集処理を行う情報処理装置は、制御情報格納パケット212bのデータ長を規定の暗号化ユニットサイズに拡張し、さらにデータ長を調整した制御情報格納パケット212bに対応する新たなシードを設定し、そのシードを利用した暗号鍵を生成して、生成した暗号鍵によって制御情報格納パケット212bの構成データを暗号化して記録する。
その他のパケットについての処理は不要であり、必要となるデータ処理を低減することができる。
その他のパケットについての処理は不要であり、必要となるデータ処理を低減することができる。
なお、削除区間にある制御情報格納パケット212を残存区間に移動する際に、データ長を拡張する必要があるのは、暗号化ユニットサイズが固定の場合のみである。
暗号化ユニットサイズが可変である場合は、削除区間にある制御情報格納パケット212のデータサイズの変更を行うことなく、残存区間に移動し、この制御情報格納パケット212を新たな暗号化ユニットとして、その新たな暗号化ユニット対応の新たなシードを設定し、そのシードを利用した暗号鍵を生成して、生成した暗号鍵によって制御情報格納パケット212の構成データを暗号化して記録する。
この場合も、その他のパケットについての処理は不要であり、必要となるデータ処理を低減することができる。
暗号化ユニットサイズが可変である場合は、削除区間にある制御情報格納パケット212のデータサイズの変更を行うことなく、残存区間に移動し、この制御情報格納パケット212を新たな暗号化ユニットとして、その新たな暗号化ユニット対応の新たなシードを設定し、そのシードを利用した暗号鍵を生成して、生成した暗号鍵によって制御情報格納パケット212の構成データを暗号化して記録する。
この場合も、その他のパケットについての処理は不要であり、必要となるデータ処理を低減することができる。
[6-2-2.(2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理]
次に、残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理について説明する。
次に、残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理について説明する。
図30は、本実施例を説明する図である。
削除区間ABには、残存区間の再生データ格納パケット215の再生処理に適用するタイムスタンプを記録したMPT(MMTパッケージテーブル)を含む制御情報格納パケット216が記録されている。
削除区間ABには、残存区間の再生データ格納パケット215の再生処理に適用するタイムスタンプを記録したMPT(MMTパッケージテーブル)を含む制御情報格納パケット216が記録されている。
本処理例では、この制御情報格納パケット216にNULLパケット217を追加して、これらのパケットの合計データ長を、規定の暗号化ユニットサイズに等しくす処理を実行する。
図に示す制御情報格納パケット216のパケットサイズと、NULLパケット217のパケットサイズの合計サイズを、規定の暗号化ユニットサイズに等しくする。
NULLパケット217は、無効値、例えばオール0やオール1等のデータを格納したパケットである。
図に示す制御情報格納パケット216のパケットサイズと、NULLパケット217のパケットサイズの合計サイズを、規定の暗号化ユニットサイズに等しくする。
NULLパケット217は、無効値、例えばオール0やオール1等のデータを格納したパケットである。
編集処理を実行する情報処理装置は、制御情報格納パケット216にNULLパケット217を追加して、これらのパケットの合計データ長を規定の暗号化ユニットサイズに等しくす処理を実行し、これらのパケットを残存区間に移動して記録する。
残存区間に移動して記録する制御情報格納パケット216とNULLパケット217の組を1つの新たな暗号化ユニットyyとする。
編集処理を実行する情報処理装置は、この新たな暗号化ユニットyyに対応する新たなシードを設定し、そのシードを利用した暗号鍵を生成して、生成した暗号鍵によって制御情報格納パケット216とNULLパケット217の構成データを暗号化して記録する。
その他のパケットについての処理は不要であり、必要となるデータ処理を低減することができる。
編集処理を実行する情報処理装置は、この新たな暗号化ユニットyyに対応する新たなシードを設定し、そのシードを利用した暗号鍵を生成して、生成した暗号鍵によって制御情報格納パケット216とNULLパケット217の構成データを暗号化して記録する。
その他のパケットについての処理は不要であり、必要となるデータ処理を低減することができる。
なお、削除区間にある制御情報格納パケット216を残存区間に移動する際に、NULLパケット217を追加して、データ長を拡張する必要があるのは、暗号化ユニットサイズが固定の場合のみである。
暗号化ユニットサイズが可変である場合は、削除区間にある制御情報格納パケット216のデータサイズの変更を行うことなく、残存区間に移動し、この制御情報格納パケット216を新たな暗号化ユニットyyとして、その新たな暗号化ユニットyy対応の新たなシードを設定し、そのシードを利用した暗号鍵を生成して、生成した暗号鍵によって制御情報格納パケット216の構成データを暗号化して記録する。
この場合も、その他のパケットについての処理は不要であり、必要となるデータ処理を低減することができる。
暗号化ユニットサイズが可変である場合は、削除区間にある制御情報格納パケット216のデータサイズの変更を行うことなく、残存区間に移動し、この制御情報格納パケット216を新たな暗号化ユニットyyとして、その新たな暗号化ユニットyy対応の新たなシードを設定し、そのシードを利用した暗号鍵を生成して、生成した暗号鍵によって制御情報格納パケット216の構成データを暗号化して記録する。
この場合も、その他のパケットについての処理は不要であり、必要となるデータ処理を低減することができる。
[6-2-3.(2-3)残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理]
次に、残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理について説明する。
次に、残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理について説明する。
先に、図7等を参照して説明したように、MMTフォーマットデータは、複数のメディアプレゼンテーションユニット(MPU:Media presentation unit)によって構成される。
MPUは、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。例えば、画像の場合、1MPUが1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する。
MPUは、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。例えば、画像の場合、1MPUが1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する。
1つのMPUは例えば複数の圧縮画像データが含まれ、1つのMPU単位で、相互にデータ参照を行うことによって、そのMPUに含まれる複数の画像フレームを復号(伸長)して再生することが可能となる。
このMPUの復号処理に適用する情報(GOP情報)は、前述のタイムスタンプと同様、MMTパッケージテーブル(MPT)に記録されている。
GOP情報が、MMTパッケージテーブル(MPT)に記録されているか否かは、MMTパッケージテーブル(MPT)に記録されているMPUシーケンス番号(MPU_sequence_number)を参照して確認することが可能である。
これは、先に図16を参照して説明したMMTパッケージテーブル(MPT)のMPUタイムスタンプ記述子中に記録される。
GOP情報が、MMTパッケージテーブル(MPT)に記録されているか否かは、MMTパッケージテーブル(MPT)に記録されているMPUシーケンス番号(MPU_sequence_number)を参照して確認することが可能である。
これは、先に図16を参照して説明したMMTパッケージテーブル(MPT)のMPUタイムスタンプ記述子中に記録される。
図31に、MMTパッケージテーブル(MPT)のMPUタイムスタンプ記述子を再度、示す。
図31に示すように、MPUタイムスタンプ記述子には、以下の各データが記録される。
MPUシーケンス番号(MPU_sequence_number)
MPU再生時刻(MPU_presentation_time)
図31に示すように、MPUタイムスタンプ記述子には、以下の各データが記録される。
MPUシーケンス番号(MPU_sequence_number)
MPU再生時刻(MPU_presentation_time)
MPUシーケンス番号(MPU_sequence_number)を参照することで、どのMPUの復号処理に適用する情報(GOP情報)が、MMTパッケージテーブル(MPT)に記録されているか否かを確認することができる。
ある1つのMPU(GOP)に属する画像等のデータの復号を行う場合、まず、このMPUシーケンス番号(MPU_sequence_number)を参照して、そのMPUの復号に必要となる情報(GOP情報)が、MMTパッケージテーブル(MPT)に記録されているか否かを確認し、記録されていることが確認されたら、そのMMTパッケージテーブル(MPT)から復号に必要となるGOP情報を取得して復号処理を行う。
しかし、前述したタイムスタンプと同様、MPU(GOP)を構成する再生データを格納した再生データ格納パケットと、その再生データの復号に必要となるGOP情報や、MPUシーケンス番号(MPU_sequence_number)を格納した制御情報(MPT)格納パケットのメディア上の記録位置は、離間している可能性が高い。
従って、データ編集を行う場合、残存区間内の再生データの復号処理に適用するGOP情報や、MPUシーケンス番号(MPU_sequence_number)を格納した制御情報(MPT)格納パケットが、削除区間に存在する場合、この制御情報(MPT)格納パケットを残存区間に移動する等の処理により残す処理を行うことが必要となる。
具体例について、図32を参照して説明する。
図32に示すTLVパケット列は、メディアに記録されたクリップAVストリームファイルを構成するパケット列である。
図32に示すTLVパケット列は、メディアに記録されたクリップAVストリームファイルを構成するパケット列である。
削除区間ABの外の残存区間に、再生データを格納したパケットから構成されるMPU(GOP)単位データ220がある。このMPU(GOP)単位データ220の復号処理に適用するGOP情報や、MPUシーケンス番号(MPU_sequence_number)を格納した制御情報(MPT)格納パケット221が、削除区間AB内にある。
このような場合、以下のいずれかの処理を実行する。
(処理1)制御情報(MPT)格納パケット221を含む暗号化ユニットを削除対象から除外する。
(処理2)制御情報(MPT)格納パケット221を、残存区間に移動させて記録して、その他の削除区間内のデータを暗号化ユニット単位で削除する。
(処理1)制御情報(MPT)格納パケット221を含む暗号化ユニットを削除対象から除外する。
(処理2)制御情報(MPT)格納パケット221を、残存区間に移動させて記録して、その他の削除区間内のデータを暗号化ユニット単位で削除する。
(処理1)を行う場合、図32の例では、制御情報(MPT)格納パケット221を含む暗号化ユニット03を削除対象から除外し、暗号化ユニット04のみを削除する。
(処理2)を行う場合は、制御情報(MPT)格納パケット221を、残存区間に移動させて記録する。この処理は、先に説明した以下のいずれかの処理と同様の処理を実行する。
(2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理
(2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理
(2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理
(2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理
なお、上記(処理2)を行う場合、削除区間にある制御情報格納パケット221を残存区間に移動する際に、データ長を拡張する必要があるのは、暗号化ユニットサイズが固定の場合のみである。
暗号化ユニットサイズが可変である場合は、削除区間にある制御情報格納パケットのデータサイズの変更を行うことなく、残存区間に移動し、この制御情報格納パケットを新たな暗号化ユニットとすればよい。
暗号化ユニットサイズが可変である場合は、削除区間にある制御情報格納パケットのデータサイズの変更を行うことなく、残存区間に移動し、この制御情報格納パケットを新たな暗号化ユニットとすればよい。
また、上記の(処理1)を行う場合、図32の例では、制御情報(MPT)格納パケット221を含む暗号化ユニット03が削除対象から除外され、暗号化ユニット04のみが削除されるので、結果として、暗号化ユニット03に不要な再生対象データ格納パケット、図に示す再生データ格納パケット222が残存してしまうことになる。
この再生データ格納パケット222の格納データは再生処理の対象とする必要のないデータである。
このような再生不要データが発生した場合は、BDAVフォーマットにおける再生制御情報ファイルであるプレイリストファイルのプレイアイテムの編集処理を実行して、再生データ格納パケット222を再生しない設定とすることが好ましい。
具体例を図33に示す。
このような再生不要データが発生した場合は、BDAVフォーマットにおける再生制御情報ファイルであるプレイリストファイルのプレイアイテムの編集処理を実行して、再生データ格納パケット222を再生しない設定とすることが好ましい。
具体例を図33に示す。
図33に示すように、再生対象データを格納した再生データ格納パケット222を、再生データ指定データを持つプレイアイテムによって指定されないようにプレイアイテム251,252を生成してプレイリストファイルに記録する。
先に図5を参照して説明したように、プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
編集処理を実行する情報処理装置は、編集処理によって再生の必要のなくなった再生データ格納パケットを再生区間として指定していたプレイアイテムの設定を変更して、そのプレイアイテムの再生区間から、再生の必要のなくなった再生データ格納パケットの区間を削除する処理を行う。
この処理によって、再生の必要のなくなった再生データは再生されることがなくなる。
この処理によって、再生の必要のなくなった再生データは再生されることがなくなる。
なお、編集処理によって再生不要な再生データ格納パケットが残存してしまうケースは、図32に示すケースに限らず、例えば、暗号化ユニット単位で削除を許容するという制限に起因する場合もある。
暗号化ユニット単位で削除を許容するという制限に起因して、不要な再生データが残存する場合の例を図34に示す。
暗号化ユニット単位で削除を許容するという制限に起因して、不要な再生データが残存する場合の例を図34に示す。
図34に示す例は、削除予定区間ABが暗号化ユニット単位とならないため、削除できず残存してしまった例である。
パケット231,232が再生不要データを格納したパケットである。
パケット231,232が再生不要データを格納したパケットである。
このような場合、編集処理を実行する情報処理装置は、編集処理によって再生の必要のなくなった再生データ格納パケット231,232を再生区間として指定していたプレイアイテムの設定を変更して、そのプレイアイテムの再生区間から、再生の必要のなくなった再生データ格納パケットの区間を削除する処理を行う。
図35に示すように、例えば、再生データ格納パケット231,232を再生区間としていたプレイアイテム251,252の設定を変更して、再生データ格納パケット231,232を再生区間としない設定としてプレイリストファイルに記録する。
この処理によって、再生の必要のなくなった再生データは再生されることがなくなる。
この処理によって、再生の必要のなくなった再生データは再生されることがなくなる。
[6-2-4.(2-4)残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理]
次に、残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理について説明する。
次に、残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理について説明する。
先に説明したように、メディア記録データのデータフォーマットであるBDAVフォーマットには、クリップAVストリームファイルに格納された再生データの再生制御情報ファイルとしてプレイリストファイルやクリップ情報ファイル等が規定されている。
BDAVフォーマットデータの再生処理を行う再生装置は、プレイリストファイルやクリップ情報ファイルの記録情報を参照して、クリップAVストリームファイルに格納された再生データの再生処理を実行する。
従って、例えば編集処理による削除区間に、必要な制御情報が存在する場合、この制御情報をプレイリストファイルやクリップ情報ファイルにコピーして記録する処理を行えば、再生装置は、この情報を利用した再生処理を行うことができる。
すなわち、削除区間の制御情報を、クリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録するものである。
この実施例について、図36を参照して説明する。
この実施例について、図36を参照して説明する。
図36に示すTLVパケット列は、メディアに記録されたクリップAVストリームファイルを構成するパケット列である。
削除区間ABの外の残存区間に、再生データ格納パケット271があり、この再生データ格納パケット271の格納データの再生に必要なタイムスタンプ、あるいはGOP情報等の制御情報を記録した制御情報(MPT)格納パケット272が、削除区間AB内にある。
削除区間ABの外の残存区間に、再生データ格納パケット271があり、この再生データ格納パケット271の格納データの再生に必要なタイムスタンプ、あるいはGOP情報等の制御情報を記録した制御情報(MPT)格納パケット272が、削除区間AB内にある。
このような設定において、編集処理を実行する情報処理装置は、削除区間AB内にある制御情報(MPT)格納パケット272を取得し、このパケット内から制御情報(MPT)を読み取り、このデータをBDAVフォーマットにおいて規定される制御情報ファイルにコピーして記録する。
図36に示す例では、BDAVフォーマットにおいて規定される制御情報ファイルであるプレイリストファイル280に、制御情報(MPT)格納パケット272に格納された制御情報のデータをコピーする例を示している。
なお、コピー対象データは、、制御情報(MPT)格納パケット272に格納された制御情報の全データとしてもよいし、必要なデータのみを選択して記録する構成としてもよい。
これらのコピー処理を行った後、削除区間AB内のパケットを削除する。
なお、コピー対象データは、、制御情報(MPT)格納パケット272に格納された制御情報の全データとしてもよいし、必要なデータのみを選択して記録する構成としてもよい。
これらのコピー処理を行った後、削除区間AB内のパケットを削除する。
このような処理を実行すれば、編集処理後の残存データの再生に必要な制御情報は、プレイリストファイルやクリップ情報ファイルから取得することが可能となり、編集後の残存データの確実な再生処理を行うことができる。
[6-3.(3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限]
次に、先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限について説明する。
次に、先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限について説明する。
この処理例について、図37を参照して説明する。
図37に示すTLVパケット列は、メディアに記録されたクリップAVストリームファイルを構成するパケット列である。
図にはTLVパケット291~298を示している。
ユーザが不要と判断して設定した削除予定区間を、パケット292~297を含む区間ABとする。
図37に示すTLVパケット列は、メディアに記録されたクリップAVストリームファイルを構成するパケット列である。
図にはTLVパケット291~298を示している。
ユーザが不要と判断して設定した削除予定区間を、パケット292~297を含む区間ABとする。
本処理例は、先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットまでの区間、すなわちMPT格納パケット区間単位を削除許容単位とするものである。
このように、MPT格納パケット区間単位を削除許容単位とする理由について説明する。
このような削除許容単位を設定する理由は、制御情報であるMPTを格納したパケットに格納されたMPTには、そのMPT格納パケットに後続するパケット中、次のMPTまでの再生データ格納パケットに関する制御情報が記録され、次のMPT以降の再生データの制御情報は含まれないことが理由である。
このように、MPT格納パケット区間単位を削除許容単位とする理由について説明する。
このような削除許容単位を設定する理由は、制御情報であるMPTを格納したパケットに格納されたMPTには、そのMPT格納パケットに後続するパケット中、次のMPTまでの再生データ格納パケットに関する制御情報が記録され、次のMPT以降の再生データの制御情報は含まれないことが理由である。
例えば、先行MPT格納パケットに後続する再生データ格納パケットに格納された再生データの再生制御情報は、先行MPT格納パケット内のMPTに記録されている。
従って、先行するMPT格納パケットから、次のMPT格納パケットの前までの1つのMPT格納パケット区間単位で削除すれば、削除対象のMPTを利用した再生を行う再生データは、削除対象MPTとともに一括して削除される。
削除区間以外の残存する再生データの制御情報は、削除区間以外のMPTから取得可能となる。
従って、先行するMPT格納パケットから、次のMPT格納パケットの前までの1つのMPT格納パケット区間単位で削除すれば、削除対象のMPTを利用した再生を行う再生データは、削除対象MPTとともに一括して削除される。
削除区間以外の残存する再生データの制御情報は、削除区間以外のMPTから取得可能となる。
具体例について、図37を参照して説明する。
図37に示すTLVパケット291~298列において、パケット293,296が制御情報(MPT)格納パケットである。
制御情報(MPT1)格納パケット293には、後続のパケット294~295に格納された再生データの再生に適用するタイムスタンプ等の再生制御情報が記録されている。
また、制御情報(MPT2)格納パケット296には、後続のパケット297~298に格納された再生データの再生に適用するタイムスタンプ等の再生制御情報が記録されている。
図37に示すTLVパケット291~298列において、パケット293,296が制御情報(MPT)格納パケットである。
制御情報(MPT1)格納パケット293には、後続のパケット294~295に格納された再生データの再生に適用するタイムスタンプ等の再生制御情報が記録されている。
また、制御情報(MPT2)格納パケット296には、後続のパケット297~298に格納された再生データの再生に適用するタイムスタンプ等の再生制御情報が記録されている。
従って、制御情報(MPT1)格納パケット293から、再生データ格納パケット295までのMPT格納パケット区間CDを削除しても、削除される制御情報(MPT1)格納パケット293の制御情報は、同じ削除区間の後続パケット294~295にのみ利用される情報であり、残存区間にある再生データには利用されない。
このように、残存する再生データは影響を与えないことが保証される。
このような理由に基づいて、先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットまでの区間、すなわちMPT格納パケット区間単位を削除許容単位とする。
このように、残存する再生データは影響を与えないことが保証される。
このような理由に基づいて、先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットまでの区間、すなわちMPT格納パケット区間単位を削除許容単位とする。
ただし、先に項目[6-1.(1)暗号化ユニット単位を削除許容単位とする編集制限]において説明した編集制限は、本処理例においても適用されることになる。
すなわち、本処理例を適用する場合、削除が許容される区間は、
(条件1)先行MPT格納パケットから後続MPT格納パケットの前までのMPT格納パケット区間内で、かつ、
(条件2)暗号化ユニット単位であること、
これら2つの条件を満足する区間のみ削除許容区間とする。
すなわち、本処理例を適用する場合、削除が許容される区間は、
(条件1)先行MPT格納パケットから後続MPT格納パケットの前までのMPT格納パケット区間内で、かつ、
(条件2)暗号化ユニット単位であること、
これら2つの条件を満足する区間のみ削除許容区間とする。
図37に示す例では、
削除予定区間内に含まれるMPT格納パケット区間は、パケット293,294,295から構成される区間CDである。
さらに、この区間CD内の暗号化ユニットは、パケット293,294によって構成される暗号化ユニット02の区間CEである。
従って、図37に示す削除予定区間AB内において削除が許容される区間は、パケット293,294から構成される2つのパケットからなる区間CEのみとなる。
削除予定区間内に含まれるMPT格納パケット区間は、パケット293,294,295から構成される区間CDである。
さらに、この区間CD内の暗号化ユニットは、パケット293,294によって構成される暗号化ユニット02の区間CEである。
従って、図37に示す削除予定区間AB内において削除が許容される区間は、パケット293,294から構成される2つのパケットからなる区間CEのみとなる。
なお、図37に示す例において、削除予定区間ABには、削除許容パケット293,294以外にパケット292,295~297が含まれるが、これらは削除が許容されず、残存することになる。
残存データには、例えば削除された制御情報(MPT)格納パケットのMPTを利用した再生処理を行う再生データ格納パケット295も含まれる。
しかし、削除予定区間AB内の残存パケット292,295~297は、いずれも再生不要データであり、再生処理を行う必要がない。
残存データには、例えば削除された制御情報(MPT)格納パケットのMPTを利用した再生処理を行う再生データ格納パケット295も含まれる。
しかし、削除予定区間AB内の残存パケット292,295~297は、いずれも再生不要データであり、再生処理を行う必要がない。
このような再生不要残存データについては、先に図33や図35を参照して説明したように、再生不要データを再生区間としない設定としたプレイアイテムを生成してプレイリストファイルに記録する。
この処理を行うことで、再生不要な残存データが再生対象として選択されることはなくなり、MTP不在の再生データを選択して再生処理を開始してしまうことで発生する再生エラーを未然に防止することができる。
この処理を行うことで、再生不要な残存データが再生対象として選択されることはなくなり、MTP不在の再生データを選択して再生処理を開始してしまうことで発生する再生エラーを未然に防止することができる。
なお、本処理例を適用する場合、MPT格納パケットを判別する処理が必要となる。
パケットヘッダの記録データを確認することで、パケット内のデータ種類を判別することも可能であるが、1つ1つのパケットのパケットヘッダを確認すると時間を要し、編集処理に時間が必要となる。
パケットヘッダの記録データを確認することで、パケット内のデータ種類を判別することも可能であるが、1つ1つのパケットのパケットヘッダを確認すると時間を要し、編集処理に時間が必要となる。
以下、高速にMPT格納パケットを判別することを可能とするためにEPマップを適用した処理例について説明する。
先に図4、図5を参照して説明したようにメディア記録データのフォーマットデータであるBDAVフォーマットには、クリップAVストリームファイルに格納された再生データの再生制御情報を記録した再生制御情報ファイルとして、プレイリストファイルやクリップ情報ファイが規定される。
先に図4、図5を参照して説明したようにメディア記録データのフォーマットデータであるBDAVフォーマットには、クリップAVストリームファイルに格納された再生データの再生制御情報を記録した再生制御情報ファイルとして、プレイリストファイルやクリップ情報ファイが規定される。
クリップ情報ファイルは、例えば、クリップAVストリームファイルのバイト列データのデータ位置と、時間軸上に展開した場合の再生開始ポイント(ランダムアクセスポイント)である(エントリポイント:EP)等の再生時間位置等の対応データ等、クリップAVストリームファイルの格納データの再生開始位置などを取得するための管理情報を格納している。
クリップ情報ファイルに記録されるエントリポイント(EP)の記録データはEPマップと呼ばれる。
再生装置は、このEPマップの記録データを参照することで、クリップAVストリームファイルから、ランダムアクセス再生可能なデータ位置、すなわちランダムアクセスポイントを即座に把握することができる。
再生装置は、このEPマップの記録データを参照することで、クリップAVストリームファイルから、ランダムアクセス再生可能なデータ位置、すなわちランダムアクセスポイントを即座に把握することができる。
以下に説明する処理例では、通常のランダムアクセスポイントを記録したEPマツプの構成を変更し、MPT格納パケット位置を記録したEPマップを生成してクリップ情報ファイルに記録し、このEPマップを利用してMPT格納パケット位置を検出可能としたものである。
本実施例において適用するEPマップの構成例を図38に示す。
本実施例において適用するEPマップの構成例を図38に示す。
図38は、EPエントリを制御情報(MPT)格納パケットのパケット位置を示すデータとしたEPマップのデータ構成(シンタクス)を示す図である。
この図38に示すEPマップは、データ記録フィールドとして、以下の各フィールドを有している。
NTP時間記録領域(NTP_time)301、
MMTバイトアドレス記録領域(MMT_byte_adress)302、
バイトオフセット記録領域(byte_offset)303、
この図38に示すEPマップは、データ記録フィールドとして、以下の各フィールドを有している。
NTP時間記録領域(NTP_time)301、
MMTバイトアドレス記録領域(MMT_byte_adress)302、
バイトオフセット記録領域(byte_offset)303、
NTP時間記録領域(NTP_time)301には、64ビットのNTP(ネットワークタイムプロトコル)時間を記録する。
この時間情報は、例えば、このEPマップを適用して再生される再生データに含まれるランダムアクセス先の再生開始位置を時間軸上で表現したタイムスタンプ(PTS:プレゼンテーションタイムスタンプ)に相当する。
なお、EPマップに記録されるNTP(ネットワークタイムプロトコル)に従った時間情報は、例えば、先に図14他を参照して説明したMPT(MMTパッケージテーブル)等の制御情報(SI)から取得される。
この時間情報は、例えば、このEPマップを適用して再生される再生データに含まれるランダムアクセス先の再生開始位置を時間軸上で表現したタイムスタンプ(PTS:プレゼンテーションタイムスタンプ)に相当する。
なお、EPマップに記録されるNTP(ネットワークタイムプロトコル)に従った時間情報は、例えば、先に図14他を参照して説明したMPT(MMTパッケージテーブル)等の制御情報(SI)から取得される。
MMTバイトアドレス記録領域(MMT_byte_adress)302は、
このEPマップを適用して再生される再生対象データを格納したパケットのパケット位置を示すアドレス情報ではなく、このEPマップを適用して再生される再生対象データの再生処理に適用する制御情報(MPT)格納パケットのパケット位置を示すアドレス情報の記録領域である。
このEPマップを適用して再生される再生対象データを格納したパケットのパケット位置を示すアドレス情報ではなく、このEPマップを適用して再生される再生対象データの再生処理に適用する制御情報(MPT)格納パケットのパケット位置を示すアドレス情報の記録領域である。
この設定を持つEPマップを利用して再生を行う再生装置は、
EPマップに記録された、
MMTバイトアドレス記録領域(MMT_byte_adress)302、
このデータを利用して、制御情報(MPT)格納パケットのパケット位置を即座に検出することが可能となる。
EPマップに記録された、
MMTバイトアドレス記録領域(MMT_byte_adress)302、
このデータを利用して、制御情報(MPT)格納パケットのパケット位置を即座に検出することが可能となる。
図39を参照して、EPマップの利用例について説明する。
再生処理を実行する再生装置は、図38に示すデータを持つEPマップを参照することで、図39に示す制御情報(MPT)格納パケット#1,311に対する矢印位置であるEPマップの示すエントリポイントを即座に検出できる。
再生処理を実行する再生装置は、図38に示すデータを持つEPマップを参照することで、図39に示す制御情報(MPT)格納パケット#1,311に対する矢印位置であるEPマップの示すエントリポイントを即座に検出できる。
バイトオフセット記録領域(byte_offset)303は、このEPマップを適用して再生される再生データを格納した再生データ格納パケットのパケット位置と、その再生データ格納パケットの再生処理に適用するタイムスタンプ情報等を格納した制御情報格納パケットとの離間距離に相当するオフセット情報がバイト情報として記録される。
タイムスタンプ情報等を格納した制御情報格納パケットのパケット位置を基準位置として、この基準位置から、再生データ格納パケットのパケット位置までの距離をバイトオフセット記録領域(byte_offset)303に記録する。
図39を参照してバイトオフセット記録領域(byte_offset)303の記録データについて説明する。
EPマップは、画像、音声、字幕等の個々のストリーム単位で設定される。
画像対応のEPマップには、図39に示すように、タイムスタンプ情報等を格納した制御情報格納パケット311のパケット位置を基準位置として、この基準位置から、再生データとしての画像(V)を格納した再生データ(V)格納パケット312のパケット位置までの距離(byte_offset(V))が記録される。
EPマップは、画像、音声、字幕等の個々のストリーム単位で設定される。
画像対応のEPマップには、図39に示すように、タイムスタンプ情報等を格納した制御情報格納パケット311のパケット位置を基準位置として、この基準位置から、再生データとしての画像(V)を格納した再生データ(V)格納パケット312のパケット位置までの距離(byte_offset(V))が記録される。
さらに、音声(A1)対応のEPマップには、図39に示すように、タイムスタンプ情報等を格納した制御情報格納パケット311のパケット位置を基準位置として、この基準位置から、再生データとしての音声(A1)を格納した再生データ(A1)格納パケット313のパケット位置までの距離(byte_offset(A1))が記録される。
さらに、音声(A2)対応のEPマップには、図39に示すように、タイムスタンプ情報等を格納した制御情報格納パケット311のパケット位置を基準位置として、この基準位置から、再生データとしての音声(A2)を格納した再生データ(A2)格納パケット314のパケット位置までの距離(byte_offset(A2))が記録される。
なお、図には示していないが、字幕についても同様に、再生データとしての字幕を格納した再生データ格納パケットのパケット位置までの距離(byte_offset)を記録したEPマップが設定される。
このように、EPマップは、画像、音声、字幕等の個々のストリーム単位で設定される。
このように、EPマップは、画像、音声、字幕等の個々のストリーム単位で設定される。
なお、EPマップには、再生データ格納パケットと制御情報格納パケットの離間距離のみならず、制御情報格納パケットの記録位置を基準位置として、再生データ格納パケットが前方、後方のいずれに記録されているかを示す方向情報、すなわち再生データ記録位置識別フラグ(Plus_minus_flag)を記録する設定としてもよい。
再生装置が、MMTフォーマットデータを格納したクリップAVストリームを再生対象として選択し、図38に示すEPマップを適用したランダムアクセス再生処理を行う場合の処理手順は以下の通りとなる。
まず、再生装置は、図38に示すEPマップから、
NTP時間記録領域(NTP_time)301、
MMTバイトアドレス記録領域(MMT_byte_adress)302、
これらのデータを読み取り、制御情報格納パケットの記録位置を検出する。
まず、再生装置は、図38に示すEPマップから、
NTP時間記録領域(NTP_time)301、
MMTバイトアドレス記録領域(MMT_byte_adress)302、
これらのデータを読み取り、制御情報格納パケットの記録位置を検出する。
次に、図38に示すEPマップから、
バイトオフセット記録領域(byte_offset)303、
を読み取り、ランダムアクセス再生対象データを格納した再生データ格納パケットの記録位置を確認し、再生データを取得する。
バイトオフセット記録領域(byte_offset)303、
を読み取り、ランダムアクセス再生対象データを格納した再生データ格納パケットの記録位置を確認し、再生データを取得する。
さらに、制御情報格納パケットからタイムスタンプ(PTS/DTS)を取得し、取得したタイムスタンプ(DTS/PTS)に従って規定されるデコード開始時間、再生開始時間に従ってデコード処理と再生処理を実行する。
このように、再生装置は、図38に示すMMTフォーマットデータ対応のEPマップを参照することで、遅延のないスムーズなランダムアクセス再生処理を実行することができる。
このように、制御情報(MPT)格納パケットの記録位置情報を記録したEPマップをクリップ情報ファイルに記録されていることを前提とした編集処理例について、図40を参照して説明する。
図40に示すTLVパケット列は、先に図37を参照して説明した同様のパケット列であり、メディアに記録されたクリップAVストリームファイルを構成するパケット列である。
図にはTLVパケット291~298を示している。
ユーザが不要と判断して設定した削除予定区間を、パケット292~297を含む区間ABとする。
図にはTLVパケット291~298を示している。
ユーザが不要と判断して設定した削除予定区間を、パケット292~297を含む区間ABとする。
本処理例は、EPマップに記録されたMPTを指定するEPエントリの区間を削除許容単位とする。
なお、MPTを指定するEPエントリの区間単位での削除処理を許容する理由は、先に図37を参照して説明したと同様であり、制御情報であるMPTを格納したパケットに格納されたMPTには、そのMPT格納パケットに後続するパケット中、次のMPTまでの再生データ格納パケットに関する制御情報が記録され、次のMPT以降の再生データの制御情報は含まれないことが理由である。
なお、MPTを指定するEPエントリの区間単位での削除処理を許容する理由は、先に図37を参照して説明したと同様であり、制御情報であるMPTを格納したパケットに格納されたMPTには、そのMPT格納パケットに後続するパケット中、次のMPTまでの再生データ格納パケットに関する制御情報が記録され、次のMPT以降の再生データの制御情報は含まれないことが理由である。
EPマップに記録されたMPTを指定するEPエントリの区間を削除許容単位とする具体例について、図40を参照して説明する。
図40に示すTLVパケット291~298列において、パケット293,296が制御情報(MPT)格納パケットである。
制御情報(MPT)格納パケット293には、後続のパケット294~295に格納された再生データの再生に適用するタイムスタンプ等の再生制御情報が記録されている。
また、制御情報(MPT)格納パケット296には、後続のパケット297~298に格納された再生データの再生に適用するタイムスタンプ等の再生制御情報が記録されている。
図40に示すTLVパケット291~298列において、パケット293,296が制御情報(MPT)格納パケットである。
制御情報(MPT)格納パケット293には、後続のパケット294~295に格納された再生データの再生に適用するタイムスタンプ等の再生制御情報が記録されている。
また、制御情報(MPT)格納パケット296には、後続のパケット297~298に格納された再生データの再生に適用するタイムスタンプ等の再生制御情報が記録されている。
クリップ情報ファイルのEPマップには、制御情報(MPT)格納パケット293のパケット位置を示すEPエントリ1と、制御情報(MPT)格納パケット296のパケット位置を示すEPエントリ2が記録されている。
編集処理を実行しようとする情報処理装置は、EPマップを参照することで、削除予定区間AB内の制御情報(MPT)格納パケット293と、制御情報(MPT)格納パケット296を即座に検出することができる。
編集処理を実行しようとする情報処理装置は、EPマップを参照することで、削除予定区間AB内の制御情報(MPT)格納パケット293と、制御情報(MPT)格納パケット296を即座に検出することができる。
図40に示すEPエントリ1とEPエントリ2によって規定される区間であるEPエントリ区間が削除許容区間となる。
ただし、先に項目[6-1.(1)暗号化ユニット単位を削除許容単位とする編集制限]において説明した編集制限は、本処理例においても適用されることになる。
すなわち、本処理例を適用する場合、削除が許容される区間は、
(条件1)EPエントリ区間単位で、かつ、
(条件2)暗号化ユニット単位であること、
これら2つの条件を満足する区間のみ削除可能となる。
ただし、先に項目[6-1.(1)暗号化ユニット単位を削除許容単位とする編集制限]において説明した編集制限は、本処理例においても適用されることになる。
すなわち、本処理例を適用する場合、削除が許容される区間は、
(条件1)EPエントリ区間単位で、かつ、
(条件2)暗号化ユニット単位であること、
これら2つの条件を満足する区間のみ削除可能となる。
図40に示す例では、
削除予定区間AB内に含まれるEPエントリ区間は、パケット293,294,295から構成される区間CDである。
さらに、この区間CD内の暗号化ユニットは、パケット293,294によって構成される暗号化ユニット02の区間CEである。
削除予定区間AB内に含まれるEPエントリ区間は、パケット293,294,295から構成される区間CDである。
さらに、この区間CD内の暗号化ユニットは、パケット293,294によって構成される暗号化ユニット02の区間CEである。
このように、MPT格納パケット位置を示すEPエントリを記録したEPマップを利用することで、MPT格納パケット位置を高速に検出し、削除許容単位であるEPエントリ区間を即座に判別することが可能となる。
[7.情報記録媒体に対するデータ記録や、編集処理を実行する情報処理装置の構成と処理について]
次に、図41以下を参照して、例えばBD等の情報記録媒体に対するデータ記録や、情報記録媒体に記録されたデータの編集処理を実行する情報処理装置の構成と処理について説明する。
次に、図41以下を参照して、例えばBD等の情報記録媒体に対するデータ記録や、情報記録媒体に記録されたデータの編集処理を実行する情報処理装置の構成と処理について説明する。
本開示の情報処理装置は、MMTフォーマットに従った入力データを、BDAVフォーマットデータとして、BDやHD、あるいはフラッシュメモリ等の情報記録媒体に記録する、または記録データの編集処理を行う。
このデータ記録処理や編集処理に際して、プレイリストやクリップ情報ファイル等のデータベースファイルに、MMTフォーマットデータ対応の制御情報、属性情報等の記録や編集処理を行う。
このデータ記録処理や編集処理に際して、プレイリストやクリップ情報ファイル等のデータベースファイルに、MMTフォーマットデータ対応の制御情報、属性情報等の記録や編集処理を行う。
図41は、BD等の情報記録媒体に対するデータ記録処理や、情報記録媒体に記録されたデータの編集処理を実行する情報処理装置400の構成を示す図である。
情報処理装置400は、情報記録媒体(記録メディア)420に、クリップAVストリームファイル、さらに、プレイリストやクリップ情報ファイル等のデータベースファイルを記録する。
情報処理装置400は、情報記録媒体(記録メディア)420に、クリップAVストリームファイル、さらに、プレイリストやクリップ情報ファイル等のデータベースファイルを記録する。
データ入力部401は、情報記録媒体420に対する記録、編集対象データ431、すなわち画像データ、音声データ、字幕データ等を含む記録、編集対象データ431、例えば編集対象となるMMTフォーマットデータを入力する。
データ入力部401は、記録、編集対象データ431を送信する例えば放送局やコンテンツサーバ等からの送信データを受信する受信部、あるいは、記録、編集対象データ431を記録したメディアからのデータ読み取りを実行するメディア読み取り部等によって構成される。
データ入力部401は、記録、編集対象データ431を送信する例えば放送局やコンテンツサーバ等からの送信データを受信する受信部、あるいは、記録、編集対象データ431を記録したメディアからのデータ読み取りを実行するメディア読み取り部等によって構成される。
編集処理を実行する場合は、編集処理対象のデータを記録した情報記録媒体から読み取られた編集対象データが入力される。
この場合、データ入力部401から入力する記録、編集対象データ431は、編集対象となるBDAVフォーマットに従ったクリップAVストリームファイルや、プレイリストファイル、クリップ情報ファイル等である。
この場合、データ入力部401から入力する記録、編集対象データ431は、編集対象となるBDAVフォーマットに従ったクリップAVストリームファイルや、プレイリストファイル、クリップ情報ファイル等である。
データ入力部401から入力するクリップAVストリームファイルは、先に図9、図10を参照して説明したようにMMTPパケット列、またはTLVパケット列によって構成されるMMTフォーマットデータからなる。
クリップAVストリームファイルを構成するパケット(MMTPパケットまたはTLVパケット)には、画像、音声、字幕等の再生データ格納パケットの他、MPT等の制御情報を格納したパケットが含まれる。
クリップAVストリームファイルを構成するパケット(MMTPパケットまたはTLVパケット)には、画像、音声、字幕等の再生データ格納パケットの他、MPT等の制御情報を格納したパケットが含まれる。
記録、編集対象データ431は、制御部403の制御によって、記憶部404に格納される。
ユーザ入力部402は、例えば情報記録媒体420に対するデータ記録やデータ編集処理の開始要求や、編集情報、例えば削除対象データの指定情報等を入力する。
ユーザ入力部402は、例えば情報記録媒体420に対するデータ記録やデータ編集処理の開始要求や、編集情報、例えば削除対象データの指定情報等を入力する。
ユーザ入力部402から、データ記録開始要求やデータ編集情報等を入力すると、この入力をトリガとして、記憶部404に格納された記録、編集対象データ431が、デマルチプレクサ(DeMUX)405に入力される。
デマルチプレクサ(DeMUX)405は、記録、編集対象データ431から、画像、音声、字幕等の各データを格納したパケットや、通知情報や制御情報等を格納したシグナリング情報(TLV-SI,MMT-SI)等の補助情報を取得し、データ種別のパケットに分類し、各パケットを、データ種類に応じて、記録データ編集部406の字幕データ編集部411、画像データ編集部412、音声データ編集部413、補助情報編集部414に入力する。
デマルチプレクサ(DeMUX)405は、記録、編集対象データ431から、画像、音声、字幕等の各データを格納したパケットや、通知情報や制御情報等を格納したシグナリング情報(TLV-SI,MMT-SI)等の補助情報を取得し、データ種別のパケットに分類し、各パケットを、データ種類に応じて、記録データ編集部406の字幕データ編集部411、画像データ編集部412、音声データ編集部413、補助情報編集部414に入力する。
記録データ編集部406では、記録データの生成や、先に説明したテータ削除等の編集処理等を実行する。
これらの処理は、データ種類単位で行われる。
例えば、ユーザ入力部402を介してユーザの指定した削除範囲等の指定情報が入力されると、先に説明した実施例に従った編集制限に従った編集処理が行われることになる。
これらの処理は、データ種類単位で行われる。
例えば、ユーザ入力部402を介してユーザの指定した削除範囲等の指定情報が入力されると、先に説明した実施例に従った編集制限に従った編集処理が行われることになる。
字幕データ編集部411は、データ入力部401が入力し、記憶部404に格納された記録、編集対象データ431から、字幕データを取得し、ユーザ入力部402から入力する編集要求に従った編集処理を行い、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
画像データ編集部412は、データ入力部401が入力し、記憶部404に格納された記録、編集対象データ431から、画像データを取得し、ユーザ入力部402から入力する編集要求に従った編集処理を行い、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
音声データ編集部413は、データ入力部401が入力し、記憶部404に格納された記録、編集対象データ431から、音声データを取得し、ユーザ入力部402から入力する編集要求に従った編集処理を行い、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
画像データ編集部412は、データ入力部401が入力し、記憶部404に格納された記録、編集対象データ431から、画像データを取得し、ユーザ入力部402から入力する編集要求に従った編集処理を行い、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
音声データ編集部413は、データ入力部401が入力し、記憶部404に格納された記録、編集対象データ431から、音声データを取得し、ユーザ入力部402から入力する編集要求に従った編集処理を行い、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
なお、ここで実行するデータ編集処理は、先に説明した各種の編集制限に従った編集処理である。
すなわち、先に、図24~図40を参照して説明した以下の編集制限に従った処理を実行することに相当する。
(1)暗号化ユニット単位を削除許容単位とする編集制限
(2)残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限
(2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理
(2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理
(2-3)残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理
(2-4)残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理
(3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限
すなわち、先に、図24~図40を参照して説明した以下の編集制限に従った処理を実行することに相当する。
(1)暗号化ユニット単位を削除許容単位とする編集制限
(2)残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限
(2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理
(2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理
(2-3)残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理
(2-4)残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理
(3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限
補助情報編集部414は、データ入力部401が入力し、記憶部404に格納された記録、編集対象データ431から、通知情報や制御情報等を格納したシグナリング情報(TLV-SI,MMT-SI)等の補助情報を取得し、BDAVフォーマットにおいて規定されるデータベースファイルとしてのプレイリストファイルやクリップ情報ファイル、クリップAVストリームファイルに格納すべきデータを生成する。
また、必要に応じてプレイリストファイルやクリップ情報ファイル、クリップAVストリームファイルの記録データの編集処理を実行する。
また、必要に応じてプレイリストファイルやクリップ情報ファイル、クリップAVストリームファイルの記録データの編集処理を実行する。
マルチプレクサ(MUX)415は、字幕データ編集部411、画像データ編集部412、音声データ編集部413が変換した字幕、画像、音声各データ、および補助情報編集部414が記録、編集対象データ431のシグナリング情報(TLV-SI,MMT-SI)等から取得した様々な情報を入力し、これらのデータを格納したストリームファイルを生成する。
データベースファイル編集部416は、補助情報編集部414が記録、編集対象データ431のシグナリング情報(TLV-SI,MMT-SI)から取得した様々な情報を記録したプレイリストファイルやクリップ情報ファイル等のデータベースファイルを生成し、必要に応じて編集を行う。
記録データ編集部406の生成したストリームファイルデータと、プレイリストファイル、クリップ情報ファイル等のデータベースファイルを含む記録データ432は、制御部403の制御の下、記録部407によって、ドライブ408を介して情報記録媒体420に出力され、記録される。
次に、図41に示す情報処理装置400が実行するデータ編集処理、すなわちデータ入力部401から入力するMMTフォーマットデータに対するデータ削除等の編集処理を実行して情報記録媒体420に記録する処理シーケンスについて、図42に示すフローチャートを参照して説明する。
図42に示すフローに従った処理は、例えば情報処理装置の記憶部に格納されたプログラムに従って、プログラム実行機能を有するCPUを備えたデータ処理部(制御部)の制御の下で実行することができる。
以下、図42のフローに示す各ステップの処理について、順次、説明する。
以下、図42のフローに示す各ステップの処理について、順次、説明する。
(ステップS101)
まず、情報処理装置400は、ステップS101において、データ入力部401を介して編集対象となるMMTフォーマットデータを入力する。
なお、この編集対象データには画像データ、音声データ、字幕データ、さらに、MPT等の制御情報が含まれる。
まず、情報処理装置400は、ステップS101において、データ入力部401を介して編集対象となるMMTフォーマットデータを入力する。
なお、この編集対象データには画像データ、音声データ、字幕データ、さらに、MPT等の制御情報が含まれる。
(ステップS102)
次に、ステップS102において、情報処理装置400は、入力したMMTフォーマットデータからなるクリップAVストリームファイルから、削除予定区間を決定する。
次に、ステップS102において、情報処理装置400は、入力したMMTフォーマットデータからなるクリップAVストリームファイルから、削除予定区間を決定する。
(ステップS103)
次に、ステップS103において、情報処理装置400は、ステップS102で決定した削除予定区間が、暗号化ユニット単位に一致するか否かを判定する。
次に、ステップS103において、情報処理装置400は、ステップS102で決定した削除予定区間が、暗号化ユニット単位に一致するか否かを判定する。
先に図21他を参照して説明したように、編集後に残存する再生データを確実に再生可能とするための編集制限の一つとして、
(1)暗号化ユニット単位を削除許容単位とする編集制限
がある。
(1)暗号化ユニット単位を削除許容単位とする編集制限
がある。
ステップS103では、ステップS102で決定した削除予定区間が、この編集制限を満足するものであるか否か、すなわち削除予定区間が、暗号化ユニット単位に一致するか否かを判定する。
削除予定区間が暗号化ユニット単位に一致する場合は、ステップS106に進む。
一方、削除予定区間が暗号化ユニット単位に一致しない場合は、ステップS104に進む。
削除予定区間が暗号化ユニット単位に一致する場合は、ステップS106に進む。
一方、削除予定区間が暗号化ユニット単位に一致しない場合は、ステップS104に進む。
(ステップS104)
削除予定区間が暗号化ユニット単位に一致しない場合は、ステップS104において、削除予定区間に暗号化ユニットが含まれるか否かを判定する。
削除予定区間に暗号化ユニットが含まれる場合は、ステップS105に進む。
削除予定区間に暗号化ユニットが含まれない場合は、ステップS111に進む。
削除予定区間が暗号化ユニット単位に一致しない場合は、ステップS104において、削除予定区間に暗号化ユニットが含まれるか否かを判定する。
削除予定区間に暗号化ユニットが含まれる場合は、ステップS105に進む。
削除予定区間に暗号化ユニットが含まれない場合は、ステップS111に進む。
(ステップS105)
ステップS104で、削除予定区間に暗号化ユニットが含まれると判定した場合は、ステップS105に進み、ステップS105において、削除区間を削除予定区間内に含まれる暗号化ニット単位に変更する。
ステップS104で、削除予定区間に暗号化ユニットが含まれると判定した場合は、ステップS105に進み、ステップS105において、削除区間を削除予定区間内に含まれる暗号化ニット単位に変更する。
(ステップS111)
一方、ステップS104で、削除予定区間に暗号化ユニットが含まれないと判定した場合は、ステップS111に進み、ステップS111において、削除処理を中止して処理を終了する。
一方、ステップS104で、削除予定区間に暗号化ユニットが含まれないと判定した場合は、ステップS111に進み、ステップS111において、削除処理を中止して処理を終了する。
(ステップS106)
ステップS103において、削除予定区間が暗号化ユニット単位に一致すると判定した場合、
または、ステップS105において、削除区間を削除予定区間内に含まれる暗号化ニット単位に変更する処理を行った場合、ステップS106に進む。
ステップS103において、削除予定区間が暗号化ユニット単位に一致すると判定した場合、
または、ステップS105において、削除区間を削除予定区間内に含まれる暗号化ニット単位に変更する処理を行った場合、ステップS106に進む。
ステップS106では、削除区間に、残存区間のデータが参照する制御情報、例えばMPTが含まれるか否かを判定する。
含まれる場合は、ステップS107に進む。
含まれない場合は、ステップS108に進む。
含まれる場合は、ステップS107に進む。
含まれない場合は、ステップS108に進む。
(ステップS107)
ステップS106で、削除区間に、残存区間のデータが参照する制御情報、例えばMPTが含まれると判定した場合、ステップS107において、削除区間内の制御情報(MPT)を残存区間、あるいは別ファイルに移動して記録する処理を行う。
ステップS106で、削除区間に、残存区間のデータが参照する制御情報、例えばMPTが含まれると判定した場合、ステップS107において、削除区間内の制御情報(MPT)を残存区間、あるいは別ファイルに移動して記録する処理を行う。
この処理は、先に、図24~図32を参照して説明した以下の処理のいずれかを実行することに相当する。
(2)残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限
(2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理
(2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理
(2-3)残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理
(2-4)残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理
(2)残存区間の再生データ対応の制御情報が削除区間内に存在する場合の編集制限
(2-1)残存区間の再生データ対応の制御情報格納パケットを暗号化ユニットサイズに拡張して残存区間に移動して記録する処理
(2-2)残存区間の再生データ対応の制御情報格納パケットにNULLパケットを追加して残存区間に移動して記録する処理
(2-3)残存区間の再生データ対応のGOP情報を含む制御情報が削除区間内に存在する場合の処理
(2-4)残存区間の再生データ対応の制御情報をクリップAVストリームファイルとは異なる制御情報ファイルにコピーして記録する処理
なお、上記処理(2-1)~(2-3)を行う場合、削除区間にある制御情報格納パケットを残存区間に移動する際に、データ長を拡張する必要があるのは、暗号化ユニットサイズが固定の場合のみである。
暗号化ユニットサイズが可変である場合は、削除区間にある制御情報格納パケットのデータサイズの変更を行うことなく、残存区間に移動し、この制御情報格納パケットを新たな暗号化ユニットとすればよい。
暗号化ユニットサイズが可変である場合は、削除区間にある制御情報格納パケットのデータサイズの変更を行うことなく、残存区間に移動し、この制御情報格納パケットを新たな暗号化ユニットとすればよい。
(ステップS108)
ステップS106において、削除区間に残存区間のデータが参照する制御情報、例えばMPTが含まれないと判定した場合、
あるいは、ステップS107において、削除区間内の制御情報(MPT)を残存区間、あるいは別ファイルに移動して記録する処理を完了した場合、
上記、いずれかの場合にステップS108に進む。
ステップS108では、削除区間のデータ削除を実行する。
ステップS106において、削除区間に残存区間のデータが参照する制御情報、例えばMPTが含まれないと判定した場合、
あるいは、ステップS107において、削除区間内の制御情報(MPT)を残存区間、あるいは別ファイルに移動して記録する処理を完了した場合、
上記、いずれかの場合にステップS108に進む。
ステップS108では、削除区間のデータ削除を実行する。
(ステップS109)
ステップS108において、データ削除を完了すると、ステップS109において、再生不要データが発生したか否かを検証し、再生不要データが発生した場合は、その再生不要データが再生指定データに選択されないようにプレイリストファイルのプレイアイテムの再構成を実行する。
この処理は、先に図33~図35を参照して説明した処理である。
ステップS108において、データ削除を完了すると、ステップS109において、再生不要データが発生したか否かを検証し、再生不要データが発生した場合は、その再生不要データが再生指定データに選択されないようにプレイリストファイルのプレイアイテムの再構成を実行する。
この処理は、先に図33~図35を参照して説明した処理である。
これらの処理により、データ編集が完了する。
このフローに従った処理を行うことにより、残存する再生データの再生に利用する制御情報(MPT)は、クリップAVストリームファイルの残存区間、またはプレイリストファイル等の別ファイルに残されることになり、制御情報(MPT)を利用した正しい再生処理を実行することが可能となる。
このフローに従った処理を行うことにより、残存する再生データの再生に利用する制御情報(MPT)は、クリップAVストリームファイルの残存区間、またはプレイリストファイル等の別ファイルに残されることになり、制御情報(MPT)を利用した正しい再生処理を実行することが可能となる。
また、削除予定区間内にありながら、各種の編集制限によって削除できなかった再生不要データは、ステップS109のプレイアイテム編集によって再生でーたとしての指定から外れることになり、誤って再生されるといった再生エラーノ発生も防止することが可能となる。
なお、図42に示すフローは、先に図37~図40を参照して説明した処理、すなわち、
(3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限
この編集制限については考慮しない処理を行う場合のシーケンスである。
(3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限
この編集制限については考慮しない処理を行う場合のシーケンスである。
この「(3)先行MPT格納パケットと次のMPT格納パケットの前までの後続パケットを削除許容単位とする編集制限」を考慮した処理を行う場合の処理フローを図43に示す。
図43に示すフローと図42に示すフローの差異は、図43に示すフロー中のステップS106bである。
図43に示すフローは、図42に示すフローのステップS106とステップS107の間にステップS106bを挿入している点が異なる。
このステップS106bの処理について説明する。
図43に示すフローは、図42に示すフローのステップS106とステップS107の間にステップS106bを挿入している点が異なる。
このステップS106bの処理について説明する。
(ステップS106b)
ステップS106bの処理は、ステップS106において、残存区間データが参照する制御情報(MPT)が残存区間に存在するとの判定がなされた場合に実行される。
ステップS106bの処理は、ステップS106において、残存区間データが参照する制御情報(MPT)が残存区間に存在するとの判定がなされた場合に実行される。
ステップS106bでは、削除区間が、MPT区間に一致するか否かを判定する。
MPT区間とは、先に図37や図40を参照して説明した区間CDに相当する。
具体的には、削除区間の先頭パケットがMPT格納パケットであり、削除区間の最終パケットの次のパケットがMPT格納パケットである場合に、削除区間がMPT区間に一致すると判定される。
MPT区間とは、先に図37や図40を参照して説明した区間CDに相当する。
具体的には、削除区間の先頭パケットがMPT格納パケットであり、削除区間の最終パケットの次のパケットがMPT格納パケットである場合に、削除区間がMPT区間に一致すると判定される。
なお、MPT格納パケットの位置については、先に説明したように、パケットヘッダ情報、あるいはMPT位置をEPエントリに記録したEPマップを参照することで判別することができる。
ステップS106bにおいて、削除区間がMPT区間に一致すると判定した場合は、ステップS108に進み、MPT区間に一致する削除区間を削除する。
一方、テップS106bにおいて、削除区間がMPT区間に一致しないと判定した場合は、ステップS107に進み、削除区間内のMPTを残存区間、または別ふぁいるに記録する処理を実行する。
これらの処理により、データ編集が完了する。
このフローに従った処理を行うことにより、残存する再生データの再生に利用する制御情報(MPT)は、クリップAVストリームファイルの残存区間、またはプレイリストファイル等の別ファイルに残されることになり、制御情報(MPT)を利用した正しい再生処理を実行することが可能となる。
このフローに従った処理を行うことにより、残存する再生データの再生に利用する制御情報(MPT)は、クリップAVストリームファイルの残存区間、またはプレイリストファイル等の別ファイルに残されることになり、制御情報(MPT)を利用した正しい再生処理を実行することが可能となる。
[8.情報処理装置の構成例について]
次に、情報記録媒体に対するデータ記録、情報記録媒体からのデータ再生を実行する情報処理装置として適用可能な情報処理装置のハードウェア構成例について、図44を参照して説明する。
次に、情報記録媒体に対するデータ記録、情報記録媒体からのデータ再生を実行する情報処理装置として適用可能な情報処理装置のハードウェア構成例について、図44を参照して説明する。
CPU(Central Processing Unit)601は、ROM(Read Only Memory)602、または記憶部608に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)603には、CPU601が実行するプログラムやデータなどが記憶される。これらのCPU601、ROM602、およびRAM603は、バス604により相互に接続されている。
CPU601はバス604を介して入出力インタフェース605に接続され、入出力インタフェース605には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部606、ディスプレイ、スピーカなどよりなる出力部607が接続されている。CPU601は、入力部606から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部607に出力する。
入出力インタフェース605に接続されている記憶部608は、例えばハードディスク等からなり、CPU601が実行するプログラムや各種のデータを記憶する。通信部609は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
入出力インタフェース605に接続されているドライブ610は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア611を駆動し、データの記録あるいは読み取りを実行する。
[9.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
前記データ処理部は、
編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理装置。
(1) MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
前記データ処理部は、
編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理装置。
(2) 前記制御情報は、
MMTフォーマットにおいて規定されたMPT(MMTパッケージテーブル)に記録された情報である(1)に記載の情報処理装置。
MMTフォーマットにおいて規定されたMPT(MMTパッケージテーブル)に記録された情報である(1)に記載の情報処理装置。
(3) 前記制御情報は、
再生データの再生処理に適用するタイムスタンプが記録された制御情報である(1)または(2)に記載の情報処理装置。
再生データの再生処理に適用するタイムスタンプが記録された制御情報である(1)または(2)に記載の情報処理装置。
(4) 前記タイムスタンプは、
再生時間情報を規定したPTS(Presentation Timestamp)と、復号時間情報を規定したDTS(Decoding Timestamp)の少なくともいずれかのタイムスタンプである(3)に記載の情報処理装置。
再生時間情報を規定したPTS(Presentation Timestamp)と、復号時間情報を規定したDTS(Decoding Timestamp)の少なくともいずれかのタイムスタンプである(3)に記載の情報処理装置。
(5) 前記制御情報は、
再生データの復号処理に適用する情報(GOP情報)が記録された制御情報である(1)~(4)いずれかに記載の情報処理装置。
再生データの復号処理に適用する情報(GOP情報)が記録された制御情報である(1)~(4)いずれかに記載の情報処理装置。
(6) 前記ストリームファイルは、MMTP(MMT Protocol)パケット列、またはTLV(Type Length Value)パケット列によって構成され、
再生データ格納パケットと、制御情報格納パケットを含むファイルである(1)~(5)いずれかに記載の情報処理装置。
再生データ格納パケットと、制御情報格納パケットを含むファイルである(1)~(5)いずれかに記載の情報処理装置。
(7) 前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された暗号化ユニットから構成されたファイルであり、
前記データ処理部は、
前記ストリームファイルの削除区間を暗号化ユニット単位とする編集制限に従って、データ削除処理を実行する(1)~(6)いずれかに記載の情報処理装置。
前記データ処理部は、
前記ストリームファイルの削除区間を暗号化ユニット単位とする編集制限に従って、データ削除処理を実行する(1)~(6)いずれかに記載の情報処理装置。
(8) 前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された固定データ長の暗号化ユニットから構成されたファイルであり、
前記データ処理部は、
前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報格納パケットが存在する場合、
前記制御情報格納パケットのデータ長を、前記固定データ長に拡張して、1つの暗号化ユニットとして、残存区間に記録する(1)~(7)いずれかに記載の情報処理装置。
前記データ処理部は、
前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報格納パケットが存在する場合、
前記制御情報格納パケットのデータ長を、前記固定データ長に拡張して、1つの暗号化ユニットとして、残存区間に記録する(1)~(7)いずれかに記載の情報処理装置。
(9) 前記制御情報格納パケットは、
MMTフォーマットにおいて規定されたMPT(MMTパッケージテーブル)を記録したPAメッセージを格納したパケットであり、
前記データ処理部は、
前記MPT、または前記PAメッセージのデータ長を拡張することで、前記制御情報格納パケットのデータ長の拡張を行う(8)に記載の情報処理装置。
MMTフォーマットにおいて規定されたMPT(MMTパッケージテーブル)を記録したPAメッセージを格納したパケットであり、
前記データ処理部は、
前記MPT、または前記PAメッセージのデータ長を拡張することで、前記制御情報格納パケットのデータ長の拡張を行う(8)に記載の情報処理装置。
(10) 前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された固定データ長の暗号化ユニットから構成されたファイルであり、
前記データ処理部は、
前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報格納パケットが存在する場合、
前記制御情報格納パケットに、NULLパケットを追加して、2つのパケットの総データ長を前記固定データ長に一致させて、前記制御情報格納パケットとNULLパケットを1つの暗号化ユニットとして、残存期間に記録する(1)~(7)いずれかに記載の情報処理装置。
前記データ処理部は、
前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報格納パケットが存在する場合、
前記制御情報格納パケットに、NULLパケットを追加して、2つのパケットの総データ長を前記固定データ長に一致させて、前記制御情報格納パケットとNULLパケットを1つの暗号化ユニットとして、残存期間に記録する(1)~(7)いずれかに記載の情報処理装置。
(11) 前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された可変データ長の暗号化ユニットから構成されたファイルであり、
前記データ処理部は、
前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報格納パケットが存在する場合、
前記制御情報格納パケットを1つの暗号化ユニットとして、残存期間に記録する(1)~(7)いずれかに記載の情報処理装置。
前記データ処理部は、
前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報格納パケットが存在する場合、
前記制御情報格納パケットを1つの暗号化ユニットとして、残存期間に記録する(1)~(7)いずれかに記載の情報処理装置。
(12)
前記ストリームファイルは、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるクリップAVストリームファイルであり、
前記データ処理部は、
編集処理において、前記クリップAVストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるプレイリストファイルに記録する(1)~(7)いずれかに記載の情報処理装置。
前記ストリームファイルは、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるクリップAVストリームファイルであり、
前記データ処理部は、
編集処理において、前記クリップAVストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるプレイリストファイルに記録する(1)~(7)いずれかに記載の情報処理装置。
(13) 前記制御情報は、
MMTフォーマットにおいて規定されたMPT(MMTパッケージテーブル)に記録された情報であり、
前記データ処理部は、
前記ストリームファイルの削除区間を、先行MPT格納パケットから、後続MPT格納パケットの直前のパケットまでの区間であるMPT区間単位とする編集制限に従って、データ削除処理を実行する(1)~(12)いずれかに記載の情報処理装置。
MMTフォーマットにおいて規定されたMPT(MMTパッケージテーブル)に記録された情報であり、
前記データ処理部は、
前記ストリームファイルの削除区間を、先行MPT格納パケットから、後続MPT格納パケットの直前のパケットまでの区間であるMPT区間単位とする編集制限に従って、データ削除処理を実行する(1)~(12)いずれかに記載の情報処理装置。
(14) 前記データ処理部は、
MPT格納パケット位置をEPエントリとして記録したEPマップから取得して、MPT格納パケットの識別を行う(13)に記載の情報処理装置。
MPT格納パケット位置をEPエントリとして記録したEPマップから取得して、MPT格納パケットの識別を行う(13)に記載の情報処理装置。
(15) 前記データ処理部は、
編集処理において、前記ストリームファイルに再生不要データが残存した場合、
前記再生不要データを再生指定データから除去する再生制御情報の更新処理を実行する(1)~(14)いずれかに記載の情報処理装置。
編集処理において、前記ストリームファイルに再生不要データが残存した場合、
前記再生不要データを再生指定データから除去する再生制御情報の更新処理を実行する(1)~(14)いずれかに記載の情報処理装置。
(16) 前記ストリームファイルは、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるクリップAVストリームファイルであり、
前記再生制御情報は、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるプレイリストファイル中のプレイアイテムである(15)に記載の情報処理装置。
前記再生制御情報は、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるプレイリストファイル中のプレイアイテムである(15)に記載の情報処理装置。
(17) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
前記データ処理部が、
編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理方法。
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
前記データ処理部が、
編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理方法。
(18) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行わせるプログラム。
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行わせるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、データ削除等の編集処理後においても確実なデータ再生を可能とするMMTフォーマットデータの編集を可能とした構成が実現される。
具体的には、例えば、MMTフォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部は、ストリームファイルから削除する削除区間に、削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、制御情報を残存区間に移動、または別ファイルに記録する。例えば、ストリームファイルが、固定データ長の暗号化ユニットから構成される場合、制御情報格納パケットを、固定データ長に拡張して1つの暗号化ユニットとして残存区間に記録する。
本構成により、データ削除等の編集処理後においても確実なデータ再生を可能とするMMTフォーマットデータの編集を可能とした構成が実現される。
具体的には、例えば、MMTフォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部は、ストリームファイルから削除する削除区間に、削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、制御情報を残存区間に移動、または別ファイルに記録する。例えば、ストリームファイルが、固定データ長の暗号化ユニットから構成される場合、制御情報格納パケットを、固定データ長に拡張して1つの暗号化ユニットとして残存区間に記録する。
本構成により、データ削除等の編集処理後においても確実なデータ再生を可能とするMMTフォーマットデータの編集を可能とした構成が実現される。
20 送信装置
21 放送サーバ
22 データ配信サーバ
30 情報処理装置
31 BDプレーヤ
32 TV
33 PC
34 携帯端末
40 情報記録媒体(メディア)
41 BD
42 HDD
43 フラッシュメモリ
400 情報処理装置
401 データ入力部
402 ユーザ入力部
403 制御部
404 記憶部
405 デマルチプレクサ
406 記録データ編集部
407 記録部
408 ドライブ
411 字幕データ編集部
412 画像データ編集部
413 音声データ編集部
414 補助情報編集部
415 マルチプレクサ
416 データベースファイル編集部
420 情報記録媒体
601 CPU
602 ROM
603 RAM
604 バス
605 入出力インタフェース
606 入力部
607 出力部
608 記憶部
609 通信部
610 ドライブ
611 リムーバブルメディア
21 放送サーバ
22 データ配信サーバ
30 情報処理装置
31 BDプレーヤ
32 TV
33 PC
34 携帯端末
40 情報記録媒体(メディア)
41 BD
42 HDD
43 フラッシュメモリ
400 情報処理装置
401 データ入力部
402 ユーザ入力部
403 制御部
404 記憶部
405 デマルチプレクサ
406 記録データ編集部
407 記録部
408 ドライブ
411 字幕データ編集部
412 画像データ編集部
413 音声データ編集部
414 補助情報編集部
415 マルチプレクサ
416 データベースファイル編集部
420 情報記録媒体
601 CPU
602 ROM
603 RAM
604 バス
605 入出力インタフェース
606 入力部
607 出力部
608 記憶部
609 通信部
610 ドライブ
611 リムーバブルメディア
Claims (18)
- MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
前記データ処理部は、
編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理装置。 - 前記制御情報は、
MMTフォーマットにおいて規定されたMPT(MMTパッケージテーブル)に記録された情報である請求項1に記載の情報処理装置。 - 前記制御情報は、
再生データの再生処理に適用するタイムスタンプが記録された制御情報である請求項1に記載の情報処理装置。 - 前記タイムスタンプは、
再生時間情報を規定したPTS(Presentation Timestamp)と、復号時間情報を規定したDTS(Decoding Timestamp)の少なくともいずれかのタイムスタンプである請求項3に記載の情報処理装置。 - 前記制御情報は、
再生データの復号処理に適用する情報(GOP情報)が記録された制御情報である請求項1に記載の情報処理装置。 - 前記ストリームファイルは、MMTP(MMT Protocol)パケット列、またはTLV(Type Length Value)パケット列によって構成され、
再生データ格納パケットと、制御情報格納パケットを含むファイルである請求項1に記載の情報処理装置。 - 前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された暗号化ユニットから構成されたファイルであり、
前記データ処理部は、
前記ストリームファイルの削除区間を暗号化ユニット単位とする編集制限に従って、データ削除処理を実行する請求項1に記載の情報処理装置。 - 前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された固定データ長の暗号化ユニットから構成されたファイルであり、
前記データ処理部は、
前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報格納パケットが存在する場合、
前記制御情報格納パケットのデータ長を、前記固定データ長に拡張して、1つの暗号化ユニットとして、残存区間に記録する請求項1に記載の情報処理装置。 - 前記制御情報格納パケットは、
MMTフォーマットにおいて規定されたMPT(MMTパッケージテーブル)を記録したPAメッセージを格納したパケットであり、
前記データ処理部は、
前記MPT、または前記PAメッセージのデータ長を拡張することで、前記制御情報格納パケットのデータ長の拡張を行う請求項8に記載の情報処理装置。 - 前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された固定データ長の暗号化ユニットから構成されたファイルであり、
前記データ処理部は、
前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報格納パケットが存在する場合、
前記制御情報格納パケットに、NULLパケットを追加して、2つのパケットの総データ長を前記固定データ長に一致させて、前記制御情報格納パケットとNULLパケットを1つの暗号化ユニットとして、残存期間に記録する請求項1に記載の情報処理装置。 - 前記ストリームファイルは、ユニット単位の個別暗号鍵で暗号化された可変データ長の暗号化ユニットから構成されたファイルであり、
前記データ処理部は、
前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報格納パケットが存在する場合、
前記制御情報格納パケットを1つの暗号化ユニットとして、残存期間に記録する請求項1に記載の情報処理装置。 - 前記ストリームファイルは、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるクリップAVストリームファイルであり、
前記データ処理部は、
編集処理において、前記クリップAVストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるプレイリストファイルに記録する請求項1に記載の情報処理装置。 - 前記制御情報は、
MMTフォーマットにおいて規定されたMPT(MMTパッケージテーブル)に記録された情報であり、
前記データ処理部は、
前記ストリームファイルの削除区間を、先行MPT格納パケットから、後続MPT格納パケットの直前のパケットまでの区間であるMPT区間単位とする編集制限に従って、データ削除処理を実行する請求項1に記載の情報処理装置。 - 前記データ処理部は、
MPT格納パケット位置をEPエントリとして記録したEPマップから取得して、MPT格納パケットの識別を行う請求項13に記載の情報処理装置。 - 前記データ処理部は、
編集処理において、前記ストリームファイルに再生不要データが残存した場合、
前記再生不要データを再生指定データから除去する再生制御情報の更新処理を実行する請求項1に記載の情報処理装置。 - 前記ストリームファイルは、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるクリップAVストリームファイルであり、
前記再生制御情報は、BDAVフォーマット、またはSPAVフォーマットにおいて規定されるプレイリストファイル中のプレイアイテムである請求項15に記載の情報処理装置。 - 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
前記データ処理部が、
編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行う情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを格納したパケット列から構成されるストリームファイルの編集処理を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
編集処理において、前記ストリームファイルから削除する削除区間に、該削除区間外の残存区間にある再生データの利用する制御情報が存在する場合、
前記制御情報を、残存区間に移動、または別ファイルに記録する処理を行わせるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017077993 | 2017-04-11 | ||
JP2017077993 | 2017-04-11 | ||
PCT/JP2018/012518 WO2018190122A1 (ja) | 2017-04-11 | 2018-03-27 | 情報処理装置、および情報処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018190122A1 JPWO2018190122A1 (ja) | 2020-02-20 |
JP7024787B2 true JP7024787B2 (ja) | 2022-02-24 |
Family
ID=63792534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019512417A Active JP7024787B2 (ja) | 2017-04-11 | 2018-03-27 | 情報処理装置、および情報処理方法、並びにプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7024787B2 (ja) |
WO (1) | WO2018190122A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6744262B2 (ja) * | 2017-08-22 | 2020-08-19 | 株式会社東芝 | 電子装置及び方法 |
CN114422622B (zh) * | 2022-01-14 | 2023-03-28 | 徐工汉云技术股份有限公司 | 一种工程机械设备工况数据解析方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009188704A (ja) | 2008-02-06 | 2009-08-20 | Toshiba Corp | コンテンツ編集装置 |
JP2017034664A (ja) | 2015-08-03 | 2017-02-09 | パナソニックIpマネジメント株式会社 | 送信方法、受信方法、送信装置及び受信装置。 |
JP2017034343A (ja) | 2015-07-29 | 2017-02-09 | 日立マクセル株式会社 | 放送受信装置 |
-
2018
- 2018-03-27 JP JP2019512417A patent/JP7024787B2/ja active Active
- 2018-03-27 WO PCT/JP2018/012518 patent/WO2018190122A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009188704A (ja) | 2008-02-06 | 2009-08-20 | Toshiba Corp | コンテンツ編集装置 |
JP2017034343A (ja) | 2015-07-29 | 2017-02-09 | 日立マクセル株式会社 | 放送受信装置 |
JP2017034664A (ja) | 2015-08-03 | 2017-02-09 | パナソニックIpマネジメント株式会社 | 送信方法、受信方法、送信装置及び受信装置。 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2018190122A1 (ja) | 2020-02-20 |
WO2018190122A1 (ja) | 2018-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11636877B2 (en) | Content recording apparatus, content editing apparatus, content reproduction apparatus, content recording method, content editing method, and content reproduction method | |
US9398330B2 (en) | Information processing device, information recording medium, information processing method, and program | |
JP7052733B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7024787B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP7074068B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7215415B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7147755B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
WO2015178112A1 (ja) | 情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP2015109131A (ja) | ファイル生成方法、再生方法、ファイル生成装置、再生装置および記録媒体 | |
WO2018173780A1 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP6982829B2 (ja) | 記録装置、記録方法および記録媒体 | |
JP7070433B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7070564B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP2015153440A (ja) | 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP2015167059A (ja) | 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220124 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7024787 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |