JP7070433B2 - 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP7070433B2 JP7070433B2 JP2018563248A JP2018563248A JP7070433B2 JP 7070433 B2 JP7070433 B2 JP 7070433B2 JP 2018563248 A JP2018563248 A JP 2018563248A JP 2018563248 A JP2018563248 A JP 2018563248A JP 7070433 B2 JP7070433 B2 JP 7070433B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- information
- reproduction
- file
- format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
また、このMPEG-2TSフォーマット対応の記録再生アプリケーション規格(フォーマット)としてBDMVやBDAV規格(フォーマット)が広く利用されている。
BDを利用したデータ記録再生処理構成については、例えば特許文献1(特開2011-023071号公報)等に記載がある。
一方、BDAVは、主に書き換え可能なBD-RE型ディスクや、一回のみ記録可能なBD-R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像の記録再生やテレビ放送を記録し再生するために利用される。
例えば、放送局等が送信するMMTフォーマットに従った配信データをテレビ等の情報処理装置が受信し、受信データをBDやフラッシュメモリ、あるいはHD(ハードディスク)等の記録メディアに記録する場合、画像、音声、字幕データや、制御情報(SI)等のデータを、MMTフォーマットに従ったデータを格納したパケットのパケット列としてメディアに記録する方向で議論が進んでいる。
従って、MMTフォーマットデータについても、これらのプレイリストファイルやクリップ情報ファイルに記録された再生制御情報を利用して再生処理を行うことが必要となる。
従って、MPEG-2TSフォーマットとはフォーマットの異なるMMTフォーマットデータを再生する場合に、現行のBDAVフォーマット規定のプレイリストファイルやクリップ情報ファイルに記録された再生制御情報が適用できない場合がある。
また、メディアに記録されたMMTフォーマットデータの再生時には、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを利用して再生を行うことが必要となる。
しかし、これらの処理については、現時点で具体化されていないというのが現状である。
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部は、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成し、
前記データ処理部は、
前記再生制御情報ファイルとして、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する情報処理装置にある。
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部は、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行し、
再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行う情報処理装置にある。
MMT(MPEG Media Transport)フォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを記録し、
前記再生制御情報ファイルは、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルであり、
前記MMTフォーマットストリームファイル格納データの再生を行う再生装置が、前記タイムスタンプ情報を取得して、再生に利用可能としたデータ記録構成を有する情報記録媒体にある。
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部が、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成し、
前記データ処理部は、
前記再生制御情報ファイルとして、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部が、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行し、
再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行う情報処理方法にある。
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成させ、
さらに、前記プログラムは、前記データ処理部に、
前記再生制御情報ファイルとして、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成させるプログラムにある。
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行させ、
再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行わせるプログラムにある。
具体的には、例えば、MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、MMTフォーマット対応の再生制御情報ファイルを生成してメディアに記録する。再生制御情報ファイルには、ランダムアクセス再生データを格納した再生データ格納パケットの格納データ再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、またはタイムスタンプ情報を記録する。再生装置は、再生データ格納パケットの格納データ再生時に必要となるタイムスタンプを即時に取得して再生することができる。
本構成により、MMTフォーマットデータをBDAVまたはSPAVフォーマットデータとしてメディアに記録して再生可能とする構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.通信システムの構成例について
2.MMT(MPEG Media Transport)フォーマットについて
3.BDAVフォーマットとSPAVフォーマットについて
4.MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について
5.MMTフォーマットデータ対応のプレイリストファイルについて
6.MMTフォーマットデータ対応のクリップ情報ファイルについて
7.MMTフォーマットデータに対応したEPマップの構成例について
7-1.MMTフォーマットデータ対応のEPマップ例1
7-2.MMTフォーマットデータ対応のEPマップ例2
7-3.MMTフォーマットデータ対応のEPマップ例3
8.情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について
9.情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について
10.情報処理装置の構成例について
11.本開示の構成のまとめ
まず、図1を参照して本開示の処理を実行する情報処理装置の一つの利用構成例である通信システムの例について説明する。
図1に示す情報処理装置30は、BD(Blu-ray(登録商標) Disc)や、フラッシュメモリ、ハードディスク(HDD)などのメディアを装着し、これらの装着メディアに対するデータ記録処理や、装着メディアからのデータ再生処理を実行する。
これらの送信コンテンツは、放送波、あるいはインターネット等のネットワークを介して送信装置20から情報処理装置30に送信される。
MMTフォーマットは、画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを放送波やネットワークを介して伝送する際のデータ転送方式(トランンスポートフォーマット)を規定したものである。
上述したように、送信装置20から情報処理装置30に対するデータ送信は、MMT(MPEG Media Transport)フォーマットに従って実行される。
図2以下を参照して、MMT(MPEG Media Transport)フォーマットについて説明する。
図2に示すMMTスタック・モデルにおいて、最下層には、物理レイヤ(PHY)がある。物理レイヤは、放送系の処理を行なうブロードキャスト(Broadcasting)レイヤと、ネットワーク系の処理を行なうブロードバンド(Broadband)レイヤに分割されている。
MMTは放送系、ネットワーク系の2つの通信網を利用した処理を可能としている。
TLVレイヤで処理が生成されるTLVパケットに格納される制御情報(SI)がTLV-SIであり、主に受信処理に関する制御情報によって構成されている。
MMTプロトコル(MMTP)に従って生成されるパケットであるMMTPパケットに格納される制御情報(SI)は最上位レイヤに示すMMT-SIであり、主に再生制御に関する制御情報によって構成されている。
UDP/IPレイヤは、詳細にはIPレイヤとUDPレイヤに分割可能であるが、IPパケットのペイロードにUDPパケットを格納する伝送を規定するレイヤである。
UDP/IPレイヤ上にMMTレイヤ、およびFile delivery methodレイヤ が設定される。
MMTPパケットをIPパケットに格納して送信する場合と、MMTPパケットを用いないデータ伝送方式であるFile delivery methodを利用してIPパケットとしてデータ送信する方式が併用可能な設定となっている。
画像符号化規格であるHEVC(High Efficiency Video Coding)に従った符号化画像データである画像(Video)データ、
音声符号化規格であるAAC(Advanced Audio Coding)に従った符号化音声データである音声(Audio)データ、
字幕符号化規格であるTTML(Timed Text Markup Language)に従った符号化字幕データである字幕(Subtitle)データ、
MMTPパケットを利用して送信される制御情報(MMT-SI)、
さらに、HTML5(Hyper Text Markup Language 5)に従って記述された様々なアプリケーション、
これらの各データがMMTPパケットに格納されて送信される。
その他のデータ配信を行うデータサービス(Data service)、コンテンツダウンロード等(Contentdownload,etc.)がMMTと異なるファイル配信メソッド(File delivery method)を利用して配信可能な構成を有している。
図3には以下の4種類のデータ構成例を示している。
(a)MPU(Media Presentation Unit)
(b)MMTPペイロート
(c)MMTPパケット
(d)TLVパケット
なお、制御情報(SI)については、MMTPパケットに格納する制御情報(MMT-SI)と、TLVパケットで送信される制御情報(TLV-SI)があり、それぞれ異なる個別のTLVパケットに格納される。
図3(c)に示すMMTPパケットは、MMTPヘッダと、MMTPペイロードによって構成される。
図3(b)は、図3(c)に示すMMTPパケット中、MMTPペイロードが画像データ(V)であるもののみを選択して示している。
図3(b)に示すMMTPペイロードは、ヘッダとデータユニットによって構成される。
AU Delimiter(Access Unit Delimiter)
SPS(Sequence Parameter Set)
PPS(Picture Parameter Set)
SEIs(Supplemental Enhancement Information)
これらのパラメータは、画像表示に利用されるパラメータである。
さらに、MMTPパケットは、図3(d)に示すTLVパケットのペイロードとして設定されて、TLVパケットが放送波やネットワークを介して送信される。
TLV-SIは、MMTPパケットに格納されることなくTLVパケットに格納されて送信される。
次に、上述のMMTフォーマットに従った配信コンテンツを例えばBD(Blu-ray(登録商標) Disc)やフラッシュメモリ、あるいはHD(ハードディスク等のメディアに記録して再生する場合の記録データフォーマットであるBDAVフォーマットとSPAVフォーマットについて図4以下を参照して説明する。
これらの再生制御情報やインデックス情報は、メディアの記録データの再生処理を実行する再生アプリケーションに応じて異なるものとなる。
BDMVは、例えば映画コンテンツなどを予め記録したBD-ROM向けに開発されたアプリケーション規格であり、主に、パッケージコンテンツ等の書き換え不能なBD-ROMで広く使われている。
一方、BDAVは、主に書き換え可能なBD-RE型ディスクや、一回のみ記録可能なBD-R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像の記録再生やテレビ放送を記録し再生するために利用される。
前述のように、BDAVフォーマットは、再生制御情報の記録ファイルとして、プレイリストファイルやクリップ情報ファイル等を規定しており、BDAV対応再生アプリケーションはこれらの再生制御情報ファイル(データベースファイル)の記録情報を利用してデータ再生処理を実行する。
ディレクトリには、図4に示すように様々な管理情報、再生制御情報、再生対象データの格納ファイルが設定される。
また、再生制御情報ファイルとして、
プレイリストファイル(playlist)、
クリップ情報ファイル(clipinf)
例えば、これらのファイルが記録される。
さらに、再生データ格納ファイルとして、クリップAVストリームファイル(stream)が記録される。
クリップ情報ファイルは、プレイリストファイルによって指定されるファイルであり、クリップAVストリームファイルの再生位置情報等を有する。
なお、MPEG-2TSフォーマットにおいて規定され、クリップAVストリームファイルに記録される管理情報として、例えば、PSI/SI(Program Specific Information/Service Information)がある。
TSパケットによって構成されたMPEG-2TSフォーマットデータからなるストリームファイル(nnnnn.m2ts)、
MMTPパケットによって構成されるMMTフォーマットデータ(nnnnn.mmtv)、
これらの2種類のストリームファイルを示している。
具体的には、MMTP(MMT Protocol)パケット、あるいはMMTPパケットの上位パケットであるTLV(Type Length Value)パケットのパケット列として記録する方向で議論が進んでいる。
この具体例については後段で詳細に説明する。
(a)まず、再生アプリケーションによって管理情報ファイルから特定のタイトルを指定する。
(b)指定されたタイトルに関連付けられたプレイリストが選択される。
(c)選択されたプレイリストに規定されたクリップ情報によって、コンテンツ実データとしてのAVストリームあるいはコマンドが読み出されて、AVストリームの再生や、コマンドの実行処理が行われる。
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのデータの対応関係を説明する図である。
プレイリスト(PlayList)ファイルを含むプレイリストレイヤ、
クリップAVストリーム(Clip AV Stream)ファイルと、クリップ情報(Clip Information)ファイルからなるクリップレイヤ、
これらの2つのレイヤに区分できる。
クリップAVストリームファイルに含まれるデータの詳細情報、例えばMPEGデータのIピクチャ位置情報などを記録したEPマップなどの管理情報がクリップ情報ファイルに記録される。
また、MMTフォーマットデータである場合はMMTPパケットによって構成される。
例えば、コンテンツの開始点からの再生時間経過位置を示すタイムスタンプに基づいてクリップ情報ファイルを参照して、クリップAVストリームファイルのデータ読み出し位置、すなわち再生開始点としてのアドレスを取得することが可能となる。
クリップ情報ファイル(Clip Information file)は、このタイムスタンプから、クリップAVストリームファイル中のストリームのデコードを開始すべきアドレス情報を見つけるために利用される。
プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
また、今後、利用が拡大されると予想される4K,8K画像等の高精細画像データの場合は、MMTフォーマットデータである場合はMMTPパケットによって構成される。
図6、図7を参照して、MMTフォーマットと、MPEG-2TSフォーマットについて説明する。
MPEG-2TSフォーマットは画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データや管理情報(PSI/SI)を記録媒体(メディア)に格納、または放送波やネットワークを介して伝送する際の符号化データ等のデータ格納形式(コンテナフォーマット)を規定したフォーマットである。
最下段に示す図6(a)は、MPEG-2TSのフォーマットデータの全体構成を示す図である。
図6(a)に示すように、MPEG-2TSフォーマットデータは、複数のエレメンタリストリーム(Elementary stream)によって構成される。
エレメンタリストリーム(Elementary stream)は、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。
具体的には、1つのエレメンタリストリーム(Elementary stream)は、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つPESパケットの1つ、または複数から構成される。
具体的には、1つのPESパケットは、ペイロードタイプ(Payload_type)=0x0で、かつ同じパケット識別子(Packet_id)を持つTSパケットの1つ、または複数から構成される。
TSパケットは、前述のMMTPパケットと異なり、固定長であり、1つのTSパケットのパケットサイズは、188バイトに固定されている。
MMTフォーマットについては、先に図3を参照しているが、図7に示すMMTフォーマットの説明図は、図6を参照して説明したMPEG-2TSフォーマットとの対応関係を分かり易く説明した図である。
図7は、ISO/IEC 23008-1に規定されるファイルフォーマットであるMMTフォーマットについて説明する図である。
最下段に示す図7(a)は、MMTフォーマットデータの全体構成を示す図である。
図7(a)に示すように、MMTフォーマットデータは、複数のメディアプレゼンテーションユニット(MPU:Media presentation unit)によって構成される。
MPUは、例えば画像、音声、字幕等の1つの単位として設定されるユニットである。例えば、画像の場合、1MPUが1つのMPEG圧縮画像単位である1GOP(Group of picture)に相当する。
具体的には、1つのMPUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMFUの1つ、または複数から構成される。
具体的には、1つのMFUは、ペイロードタイプ(Payload_type)=0x0(MPU)で、かつ同じパケット識別子(Packet_id)を持つMMTPパケットの1つ、または複数から構成される。
MMTPパケットは可変長であり、様々なパケットサイズに設定可能である。
MMTPパケットの各々は、属性情報等を格納するヘッダ(MMTPヘッダ)と、符号化画像の実データ等を格納するペイロード(MMTPペイロード)により、構成される。
ただし、BDAVフォーマット、SPAVフォーマットのいずれも、BD,フラッシュメモリ、HD等、様々なメディアを利用した記録再生に利用可能なフォーマットである。
図8にSPAVフォーマットのディレクトリ構成例を示す。
また、再生制御情報ファイルとして、
プレイリストファイル(PLAYLIST)、
クリップ情報ファイル(CLIPINF)
例えば、これらのファイルが記録される。
さらに、再生データ格納ファイルとして、クリップAVストリームファイル(STREAM)が記録される。
ただし、各ファイルに格納されるデータや、各ファイルの役割は、BDAVフォーマットと同様である。
次に、MMTフォーマットデータをBDAVフォーマットに従って記録する場合の処理について説明する。
一方、BDAVフォーマットはメディアに対するデータ記録フォーマットであり、図4を参照して説明したようにプレイリストファイルやクリップ情報ファイル等の再生制御情報ファイルを含むデータベースファイルが規定されている。
なお、BDAVフォーマットはデータ記録フォーマットであるとともにデータ記録再生アプリケーション規格にも対応しており、BDAVフォーマットに従ってメディアに記録されたデータ再生は、BDAVフォーマット対応の再生アプリケーションを利用して再生処理が実行される。
例えば、放送局等が送信するMMTフォーマットに従った配信データをテレビ等の情報処理装置が受信し、受信データをBDやフラッシュメモリ、あるいはHD(ハードディスク)等のメディアに記録する処理を行う場合、画像、音声、字幕データや管理情報(SI)等のデータについては、MMTフォーマットに従ったデータを格納したパケットのパケット列としてそのまま記録する方向で議論が進んでいる。
なお、MMTフォーマットデータを格納したクリップAVストリームファイル[02001.mmtv等]に対応する再生制御情報ファイルであるプレイリストファイルやクリップ情報ファイルについては、MMTフォーマットデータ対応の制御情報を設定したプレイリストファイルやクリップ情報ファイルを記録装置が生成してメディアに記録することになる。この処理については後段で説明する。
図9は、BDやフラッシュメモリ、あるいはHD(ハードディスク)等の記録メディアに、MMTフォーマットに従ったMMTP(MMT Protocol)パケット列を記録する処理例を説明する図である。
(A)放送配信データであるTLVパケット列
(B)受信再生データとして処理される1つのTLVパケット
(C)メディア記録用データの構成として提案されているMMTPパケット列
このTLVパケット列が、放送局等の送信装置20から送信される。
先に図2を参照して説明したMMT(MPEG Media Transport)フォーマットを有するTLVパケットである。
メディアに記録されるMMTPパケットは、図9(B)との対応関係を示す点線から理解されるように、TLVパケットの一部の構成データであるMMTPパケットであり、以下の要素から構成される。
(a)MMTPパケットヘッダ(MMTP_packet_header)
(b)MMTPパケットデータ(MMTP_packet_data)(=ペイロード)
(b1)MMTPペイロードヘッダ(MMTP_payload_header)
(b2)MMTPペイロードデータ(MMTP_payload_data)
(A)放送配信データであるTLVパケット列
(B)受信再生データとして処理される1つのTLVパケット
(C)メディア記録用データの構成として提案されているTLVパケット列
(C)メディア記録用データの構成として示すTLVパケット列は、現在、メディアに対する記録データとして提案されているもう1つの例であるTLVパケット列である。
メディアに記録されるTLVパケットは、図10(B)との対応関係を示す点線から理解されるように、MMTPパケットを含むTLVパケットであり、以下の要素から構成される。
(a)TLVパケットヘッダ(TLV_header)
(b)TLVパケットデータ(TLV_data)(=ペイロード)
図9を参照して説明したMMTP(MMT Protocol)パケットのパケット列、あるいは、
図10を参照して説明したTLV(Type Length Value)パケットのパケット列、
これらいずれかのパケット列として記録する方向で議論が進んでいる。
なお、BDAVフォーマットはデータ記録フォーマットであるとともにデータ記録再生アプリケーション規格にも対応しており、BDAVフォーマットに従ってメディアに記録されたデータの再生は、BDAVフォーマット対応の再生アプリケーションを利用して実行される。
従って、MPEG-2TSフォーマットとはフォーマットの異なるMMTフォーマットに従った配信データは、現行のBDAVフォーマット規定のプレイリストファイルやクリップ情報ファイルにそのまま記録しても、現行のBDAV対応再生アプリケーションが利用できないデータとなる場合がある。
また、メディアに記録されたMMTフォーマットデータの再生時には、MMTフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルを利用して再生を行うことが必要となる。
また、MMTフォーマットデータ格納クリップAVストリームファイル71は、MPEG-2TSフォーマットデータとは異なるデータ形式となり、MPEG-2TSフォーマットデータ対応のプレイリストファイルやクリップ情報ファイルと同一形式のデータを持つプレイリストファイルやクリップ情報ファイルを利用しても、正しい再生処理は実行できないという問題がある。
以下、この具体的な処理について説明する。
まず、図12以下を参照してMMTフォーマットデータ対応のプレイリストファイルについて説明する。
図12に示す[PlayList]の主な記録データについて説明する。
レングス(length)は、このレングスフィールドの直後からプレイリストファイル構成データの最後までのバイト数を示す。
サブプレイアイテム数(number_of_SubPlayItems)103は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)の数を示す。
プレイアイテム情報(PlayItem())104には、各プレイアイテム、サブプレイアイテムの詳細情報が記録される。
CPI(Characteristic Point Information)は、クリップ情報ファイルの記録データであり、例えば、ランダムアクセス再生開始可能な再生開始点のデータアドレスを取得するためのデータである。
これらのマップは、いずれも、例えばランダムアクセスポイントとなる再生時間情報(PTS:Presentation Timestamp)と、その位置のパケットのパケット識別子であるソースパケットナンバー(SPN:Source Packet Number)との対応データであり、ランダムアクセスポイントの再生データが格納されたパケットを取得するために利用可能なマップ情報である
BDAVフォーマットでは、EPマップとTUマップの2種類のマップを規定しているが、TUマップの利用はほとんどなされておらず、EPマップのみ利用されているのが現状である。
EP_mapやTU_mapは、AVストリームの中でデコードを開始すべきエントリポイント(EP)の場所を見つけるためのアドレス情報を持つ。
先に、図5を参照して説明したように、プレイリストは、クリップ(Clip)の再生開始位置や再生終了位置に対応するアクセスポイントを時間軸上の情報であるタイムスタンプで指し示す情報を有する。
クリップ情報ファイル(Clip Information file)は、このタイムスタンプから、クリップAVストリームファイル中のストリームのデコードを開始すべきアドレス情報を見つけるために利用される。
EPマップは、クリップAVストリームファイルに格納された再生データ中におけるランダム再生開始可能な再生開始位置や再生終了位置に対応するアクセスポイント情報を記録している。
すなわち、EPマップには、再生開始位置を時間軸上で表現したタイムスタンプと、パケット位置情報に相当するパケット取得のためのアドレス情報との対応データが記録されている。
(a)アクセスポイントを時間軸上で表現したタイムスタンプ(PTS:Presentation Timestamp)と、
(b)アクセスポイントをクリップAVストリーム中のパケット位置を示すアドレスに相当するソースパケット番号(SPN:Source Packet Number)、
これらの対応情報を有する。
(a)アクセスポイントを時間軸上で表現したタイムスタンプ(PTS:Presentation Timestamp)と、
(b)アクセスポイントをクリップAVストリーム中のパケット位置を示すアドレスに相当するソースパケットナンバー(SPN:Source Packet Number)、
これらの対応情報である。
なお、クリップAVストリームファイル中のすべてのパケットに設定された一連の番号がソースパケット番号(SPN)である。クリップAVストリームファイル中、最初のソースパケットのソースパケット番号をゼロ、その次のパケットのソースパケット番号は1であり、以後、次のパケット毎にソースパケット番号は1つずつ増加する。
ストリームPID(Stream_PID)、
EPエントリ数(number_of_EP_entries)、
プレゼンテーションタイムスタンプEPスタート(PTS_EP_start)、および、
ソースパケット番号EPスタート(SPN_EP_start)、
これらのデータを記録している。
EPエントリ数(number_of_EP_entries)は、EP_mapに含まれるPTS_EP_start とSPN_EP_startのペアのエントリの個数である。
ソースパケット番号EPスタート(SPN_EP_start)は、PTS_EP_startの値により参照されるアクセスユニット(Access Unit)の第1バイト目を含むソースパケット番号(SPN:Source Packet Number)を表す。
例えば、PID=xのビデオストリームのEPマップには、
PTS=pts(x1)とソースパケット番号(SPN)X1、
PTS=pts(x2)とソースパケット番号(SPN)X2、
・・・、
PTS=pts(xk)とソースパケット番号(SPN)Xk、
これらのPTSとSPNの対応データからなるテーブルが記述される。
上記のテーブルを含むEPマップ(EP_map)が、1つのクリップAVストリームに対応するクリップ情報ファイルに格納される。
クリップ中の時間軸上の時刻xから再生開始するとき、EP_mapを利用して、クリップAVストリームファイルの中でストリームのデコードを開始すべきアドレス情報の計算方法について、図15を参照して説明する。
このプレイリスト情報に従って特定されるタイムスタンプ[PTS_EP_start[m]]に基づいて、クリップ情報ファイル中のEPマップを参照して、タイムスタンプ[PTS_EP_start[m]]に対応するソースパケット番号[SPN_EP_start[m]]を特定する。
このパケット位置[SPN_EP_start[m]]を、クリップAVストリームファイル中の再生開始点、すなわち、デコードを開始すべきアドレス情報として取得し、デコード処理を行って再生を行うことができる。
すなわち、再生対象データがMMTフォーマットデータである場合は、上述した処理と異なるMMTフォーマットデータ対応のデータ処理を行う必要がある。
すなわち、図11に示すMMTフォーマットデータ格納クリップAVストリームファイル71対応のクリップ情報ファイル(nnnnn.clpi)72にMMTフォーマットデータ対応のEPマップを記録することが必要となる。この具体例については、後段で説明する。
図12を参照して説明したように、図12に示すプレイリストファイルに記録されるPL_CPIタイプ(PL_CPI_type)は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
しかし、MMTフォーマットデータに対応のEPマップは、これまでのMPEG-2TSフォーマットデータ対応のEPマップとは異なるマップである。
従って、プレイリストファイルのPL_CPIタイプ(PL_CPI_type)についても、これらを区別した識別子を設定することが必要となる。
(1)従来のCPIタイプ記録データ(MPEG-2TS対応データのみ記録)
(2)新たなCPIタイプ記録データ(MPEG-2TS対応データとMMT対応データを記録)
PL_CPIタイプ(PL_CPI_type)=1は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MPEG-2TS対応のEPマップであることを意味する。
PL_CPIタイプ(PL_CPI_type)=2は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MPEG-2TS対応のTUマップであることを意味する。
図16の「(2)新たなCPIタイプ記録データ(MPEG-2TS対応データとMMT対応データを記録)」は、上記設定に、さらに、
PL_CPIタイプ(PL_CPI_type)=3
このビット値=3の設定を追加した構成となっている。
このように、PL_CPIタイプ(PL_CPI_type)=1~3の3種類の定義を可能として、3つのCPIタイプを識別可能としている。
先に説明したように、プレイアイテム情報(PlayItem())104には、各プレイアイテム、サブプレイアイテムの詳細情報が記録される。
クリップ情報ファイルネーム(Clip_Information_file_name)111には、このプレイアイテムを利用した再生処理に適用するクリップ情報ファイルのファイル名が記録される。
STC(システムタイムクロック)は、AVストリーム再生時の基準クロックであり、連続再生区間では、1つのSTCが利用される。例えば1つのプレイアイテムが再生する連続再生区間では1つのSTCが利用され、プレイアイテムの切り替えによって異なるSTCが参照されることになる。
参照STC識別子(ref_to_STC_id)112には、このプレイアイテムが参照すべきSTC(システムタイムクロック)を指定する情報が記録される。
終了時間(OUT_time)114は、プレイアイテムの再生終了時間の記録領域である。
これらの開始時間、終了時間情報は、従来のMPEG-2TSフォーマットデータを再生対象とする場合、参照STC識別子(ref_to_STC_id)112によって指定されたプレイアイテム対応のSTCの開始時間からの差分時間情報(45KHzhクロック)が記録される。
なお、45KHzクロックは、MPEG-2TSフォーマットデータの記録再生に用いられる一般的なクロックである。
従って、MMTフォーマットデータを再生対象とするプレイリストのプレイアイテム情報(PlayItem())に記録する、
開始時間(IN_time)113と、
終了時間(OUT_time)114は、
MMTフォーマットデータに固有の時間情報とする必要がある。
この変更例について、図18を参照して説明する。
(1)従来のプレイアイテム情報記録データ(MPEG-2TS対応プレイリスト)
(2)新たなプレイアイテム情報記録データ(MMT対応プレイリスト)
終了時間(OUT_time)は、プレイアイテム(PlayItem)再生終了点の再生終了時間情報である。再生対象データがMMTフォーマットデータである場合、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
テレビ(TV)32等の情報処理装置30は、送信装置20が送信するNTP(ネットワークタイムプロトコル)に従った時間情報を取得して、プレイリストに記録する。
具体例について、図19以下を参照して説明する。
MMTフォーマットで規定された制御情報(シグナリング情報)には、MMTPパケットで送信されるシグナリング情報(MMT-SI)と、TLVパケットで送信されるシグナリング情報(TLV-SI)がある。
なお、MMTパッケージテーブル(MPT:MMT Package Table)のパケットIDは、パケットID=0x0000のMMTPパケットに格納されており、情報処理装置は、パケットIDに基づいてMMTパッケージテーブル(MPT)の格納パケットを判別することができる。
MMTフォーマットにおいて規定されたMMTパッケージテーブル(MPT:MMT Package Table)は、前述したように、例えば画像、音声、字幕等、のデータ種類(アセットタイプ)毎に、データの属性情報(アセット記述子)を詳細に記録したテーブルてある。
アセットタイプ(asset_type)
アセット記述子(asset_descriptors_byte)
これらのデータ記録領域が含まれる。
MMTパッケージテーブル(MPT)に記録されるアセットタイプ(asset_type)の具体例を図20に示す。
hvc1:HEVC画像
mp4a:音声
stpp:字幕等
aapp:アプリケーション
図19に示すMPTのアセットタイプ(asset_type)記録フィールドには、例えば上記のいずれかのタイプ情報が記録される。
アセット記述子(asset_descriptors_byte)
このフィールドには、各アセットタイプ(例えば画像、音声、字幕)、これらのデータ種類に応じた様々な属性情報が記録される。
再生時間情報は、NTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
図21に示すように、MPUタイムスタンプ記述子には、以下の各データが記録される。
MPUシーケンス番号(MPU_sequenc_number)
MPU再生時刻(MPU_presentation_time)
MPU再生時刻(MPU_presentation_time)には、MPUの再生時間(提示時間)がNTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
なお、NTP時間(NTPタイムスタンプ)は、例えば64ビットデータの絶対時刻情報、すなわち予め規定された基準時刻からの経過時間を示す絶対時刻情報である。上位32ビットで1秒以上の時間情報(経過時間情報)を示し、下位32ビットで1秒以下の時間情報(経過時間情報)を示す。
なお、全体を32ビットとして、上位16ビットで1秒以上の時間情報を示し、下位16ビットで1秒以下の時間情報を示す短形式のNTP時間情報を用いる設定も可能である。
情報処理装置30は、この時間情報を取得してプレイリストに記録する。
まず、マーク(Mark)について説明する。マークは、例えばクリップAVストリームファイルに格納された画像データのチャプタ区切り、シーンチェンジ点、ブックマーク、ハイライト、特徴的なシーンの時間指定情報として、プレイリストファイル、クリップ情報ファイルに記録可能なデータである。
プレイリストファイル、クリップ情報ファイルに対するマークの記録は、マークの時刻を示すタイムスタンプの記録処理により行われる。
プレイリストマーク数(number_of_PlayList_marks)121は、このプレイリストマーク(PlayListMark)中にストアされているマークの個数を示す。
マークタイプ(mark_type)122は、マークのタイプを示すフィールドである。たとえば、各マークが、プレイリストの代表画像位置、チャプタ開始位置、チャプタ終了位置、シーンチェンジ位置、編集位置等のどのタイプのマークであるかを示す情報を記録する。
エレメンタリストリームパケットIDエントリ(entry_ES_PID)124は、マークが設定されたパケットの識別子を記録するフィールドである。
デュレーション(duration)125は、隣接マーク間の時間間隔、例えばチャプタの長さを記録するフィールドである。
従って、クリップAVストリームファイルとしてMMTフォーマットデータを記録する場合のプレイリストマーク(PlayListMark)の記録データについて規定する必要がある。
(1)従来のプレイリストマーク情報記録データ(MPEG-2TS対応プレイリスト)
(2)新たなプレイリストマーク情報記録データ(MMT対応プレイリスト)
NTP(ネットワークタイムプロトコル)に従った時間情報は、例えば、先に図18他を参照して説明したMPT、すなわち、MMTフォーマットにおいて規定されたMMTパッケージテーブル(MPT:MMT Package Table)から取得される。
次に、図24以下を参照してMMTフォーマットデータ対応のクリップ情報ファイルについて説明する。
クリップ情報ファイルには、クリップ情報に対応付けられた再生データに関する情報が記録される。図24に示すように、例えば、以下の各情報が記録される。
クリップ情報[ClipInfo()]201、
シーケンス情報[SequenceInfo()]202、
プログラム情報[ProgramInfo()]203、
CPI情報[CPI()]204
シーケンス情報[SequenceInfo()]202は、このクリップ情報ファイルに対応するAVストリームファイルに格納された再生対象データの再生シーケンスに関する情報を記録する。
先に図12を参照して説明したように、プレイリストファイルには、CPIタイプ(CPI_type)が記録される。CPIタイプ(CPI_type)は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
前述したように、クリップ情報[ClipInfo()]201は、クリップ情報ファイルに対応するAVストリームファイルの属性情報を記録する領域である。
(a)アプリケーションタイプ(Application type)211
(b)クリップストリームタイプ(Clip_stream_type)212
(c)トランスコードモードフラグ(transcode_mode_flag)213
(d)TS平均レート(TS_average_rate)214、
(e)TS記録レート(TS_recording_rate)215、
(f)ソースパケット数(num_of_source_packets)216
具体的には、
フラグ値=0:記録時の変換なし(transparent)
フラグ値=1:記録時の変換あり(transcoded)
このような設定のフラグが記録される。
TS記録レート(TS_recording_rate)215、
これらは、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのトランスポートストリームの平均ビットレートと、記録レートをbytes/second の単位で表したものである。
(a)アプリケーションタイプ(Application type)211
(b)クリップストリームタイプ(Clip_stream_type)212
(c)トランスコードモードフラグ(transcode_mode_flag)213
(d)TS平均レート(TS_average_rate)214、
(e)TS記録レート(TS_recording_rate)215、
(f)ソースパケット数(num_of_source_packets)216
従って、クリップAVストリームファイルに格納されたデータがMMTフォーマットデータある場合のデータ記録態様についての規定が必要となる。
(1)従来のクリップ情報(ClipInfo)記録データ(MPEG-2TS対応クリップ情報ファイル)
(2)新たなクリップ情報(ClipInfo)記録データ(MPEG-2TS/MMT対応クリップ情報ファイル)
これらの各データを示した図である。
アプリケーションタイプ(Application type)=1の場合、このクリップ情報ファイルによる再生アプリケーションのタイプが、「Main TS for a main-path of Movies」、すなわち、画像メインパス対応のメインTS(トランスポートストリーム)の再生アプリケーションであることを示す。
なお、画像再生パスには、メインパス、サブパス等の複数の再生パスが設定可能であり、それぞれ異なるプレイアイテムを利用して再生することができる。
このように、従来は、再生対象データがMPEG-2TSフォーマットデータのみであり、図26(1)に示す設定が利用されていた。
アプリケーションタイプ(Application type)=3
(1)従来のクリップ情報(ClipInfo)記録データ(MPEG-2TS対応クリップ情報ファイル)
(2)新たなクリップ情報(ClipInfo)記録データ(MPEG-2TS/MMT対応クリップ情報ファイル)
これらの各データについて説明する。
クリップストリームタイプ(Clip_stream_type)=1の場合、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルに格納されたデータのタイプが、「A Clip AV stream of BDAV MPEG-2TS」、すなわち、BDAV MPEG-2TSフォーマットのクリップAVストリームであることを示す。
なお、ブリッジタイプのクリップAVストリームとは、ストリーム間に黒画を挿入したタイプのストリームである。
クリップストリームタイプ(Clip_stream_type)=3
(a)アプリケーションタイプ(Application type)211
(b)クリップストリームタイプ(Clip_stream_type)212
これら2つのデータについて説明した。
(c)トランスコードモードフラグ(transcode_mode_flag)213
(d)TS平均レート(TS_average_rate)214、
(e)TS記録レート(TS_recording_rate)215、
(f)ソースパケット数(num_of_source_packets)216
具体的には、
フラグ値=0:記録時の変換なし(transparent)
フラグ値=1:記録時の変換あり(transcoded)
このような設定のフラグが記録される。
この設定は、MMTフォーマットデータに対しても、同様の設定で利用できる。
TS記録レート(TS_recording_rate)215、
これらは、前述したように、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのトランスポートストリームの平均ビットレートと、記録レートをbytes/secondの単位で表したものである。
(例1)STCシーケンス間でファイルサイズを時間で割り算してビットレートを算出して記録する。
(例2)データの記録時の圧縮処理において取得される記録データ情報に基づいてビットレートを算出して記録する。
(例3)送信装置からの受信情報、例えば制御情報であるシグナリング情報(SI)に含まれるコンテンツコピー制御記述子に含まれるビットレート情報を取得して記録する。
なお、STCについては、図28以下を参照して説明するシーケンス情報[SequenceInfo()]の説明の中で詳細に説明する。
これらのシグナリング情報内のコンテンツコピー制御記述子からビットレート情報を取得して記録することができる。
前述したように、再生対象データがMPEG-2TSフォーマットデータの場合、ソースパケット数が記録される。
従って、パケット数に基づいてデータサイズが把握可能であるという特徴がある。
従って、ソースパケット数(num_of_source_packets)216のフィールドにパケット数を記録してもデータサイズが把握できない。
あるいは、再生対象データがMMTフォーマットの場合、このフィールドには無効値を記録して非利用フィールドとしてもよい。
前述したように、シーケンス情報[SequenceInfo()]202には、クリップ情報ファイルに対応するAVストリームファイルに格納された再生対象データの再生シーケンスに関する情報を記録する。
(a)ATCスタート位置SPN(SPN_ATC_start)221
(b)STCシーケンス数(num_of_STC_sequence)222
(c)プログラムクロックリフェランス・パケットID(PCR_PID)223
(d)STCスタート位置SPN(SPN_STC_start)224、
(e)表示開始時間(presentation_start_time)225、
(f)表示終了時間(presentation_end_time)226
図29には、(a)クリップAVストリームファイルに格納されたパケット列を示している。MPEG-2TSフォーマットデータの場合、1つの矩形が1つのTSパケットに相当する。
図29の例ではパケットナンバー0~nnまでが1つのクリップAVストリームファイルの構成データである。
この一つのATCに従って並べられたパケット列をATCシーケンスと呼ぶ。
一つのSTC(システムタイムクロック)は、一つのPCR(プログラムクロックリフェランス)を基準として規定されるクロックであり、一つのSTCシーケンスに属するソースパケットは、1つのSTC(例えば45KHz)によって再生制御される。
STCシーケンス#1は、PCR格納パケットbに格納されたPCR、
また、STCシーケンス#2は、PCR格納パケットcに格納されたPCRを、各々基準として規定されるSTCに従って連続再生可能なパケット列である。
(a)ATCスタート位置SPN(SPN_ATC_start)221は、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルのATCスタート位置のSPN(ソースパケットナンバー)を記録する領域である。
図29を参照して説明した例では、
ATCスタート位置SPN(SPN_ATC_start)=0となる。
図29を参照して説明した例では、
STCシーケンス数(num_of_STC_sequence)=3となる。
(f)表示終了時間(presentation_end_time)226
これらには、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる各STCシーケンスの表示開始時間と、終了時間を記録する。なお、この時間情報としては、STC時間情報(stc_id)、ATC時間情報(atc_id)の両者を記録する。
次に、このクリップ情報ファイルによる再生対象データがMMTフォーマットデータの場合の各記録データについて説明する。
従って、パケット数に基づいてデータサイズが把握可能であるという特徴がある。
従って、ATCスタート位置SPN(SPN_ATC_start)221のフィールドにパケットナンバーを記録してもデータサイズが把握できない。
ATCスタート位置SPN(SPN_ATC_start)221には、
クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録する。例えば64ビットでバイト数を記録する。
再生対象データがMMTフォーマットデータの場合、
STCシーケンス数(num_of_STC_sequence)=1とする。
すなわち、1つのATCシーケンスに1つのSTCシーケンスのみが含まれる設定とする。
再生対象データがMMTフォーマットデータの場合、パケット識別子からのデータ位置特定ができないので、このフィールドには無効値を記録し、利用しない設定とする。
再生対象データがMMTフォーマットデータの場合、先に説明した(a)ATCスタート位置SPN(SPN_ATC_start)221と同様、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録する。例えば64ビットでバイト数を記録する。
(f)表示終了時間(presentation_end_time)226
これらは、このクリップ情報ファイルによる再生対象となるクリップAVストリームファイルに含まれる各STCシーケンスの表示開始時間と、終了時間を記録する領域である。
再生対象データがMMTフォーマットデータの場合、これらの時間情報としてNTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
前述したように、プログラム情報[ProgramInfo()]203には、クリップ情報ファイルによって再生されるクリップAVストリームの再生区間や時間区間の定義情報等を含むプログラム(program)に関する情報を記録する。
(a)プログラムシーケンス数[num_of_program_sequences]231には、クリップ情報ファイルに含まれるプログラムシーケンス(program_sequence)の数が記録される。
(b)SPNプログラムシーケンス開始アドレス[SPN_program_sequence_start[i]]232には、AVストリームファイル上でプログラムシーケンスが開始する場所の相対アドレスが記録される。
(c)プログラムマップPID[program_map_PID[i]]233には、プログラムシーケンス(program_sequence)のマップの格納位置情報が記録される。
なお、プログラムシーケンスとは、クリップAVストリームファイルに含まれるAVストリーム中の符号化情報が連続な区間である。
例えば、一つの画像符号化態様で符号化された画像データ区間や、一つの音声符号化態様で符号化された音声データ区間等が、各々個別のプログラムシーケンスとして規定される。
(a)プログラムシーケンス数[num_of_program_sequences]231、
(b)SPNプログラムシーケンス開始アドレス[SPN_program_sequence_start[i]]232、
(c)プログラムマップPID[program_map_PID[i]]233、
これらのデータ記録態様は、このクリップ情報ファイルによる再生対象データが、MPEG-2TSフォーマットである場合については規定されているが、再生対象データがMMTフォーマットデータである場合の規定は無く、新たに規定することが必要となる。
再生対象データがMPEG-2TSフォーマット、MMTフォーマット、いずれの場合もプログラムシーケンス数を記録すればよい。
一方、再生対象データがMMTフォーマットデータである場合は、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト数を記録する。例えば64ビットでバイト数を記録する。
一方、再生対象データがMMTフォーマットデータである場合は、無効値を記録し、利用しない設定とする。
前述したように、CPI(Characteristic Point Information)は、クリップ情報ファイルの記録データであり、例えば、再生開始点のデータアドレスを取得するためのデータである。
なお、図31に示す例は、再生対象データがMPEG-2TSフォーマットデータの場合の例である。先に図16を参照して説明したように、再生対象データがMPEG-2TSフォーマットデータの場合は、CPIタイプ=1,2の設定があり、EPマップ、TUマップいずれも利用可能な設定とされる。
すなわち、EPマップには、再生開始位置を時間軸上で表現したタイムスタンプ(PTS:プレゼンテーションタイムスタンプ)と、パケット位置情報に相当するパケット取得のためのアドレス情報(SPN:ソースパケットナンバー)との対応データが記録されている。
図32は、クリップ情報ファイルに格納されるEPマップのデータ構成(シンタクス)を示す図である。
先に図14(A)を参照して説明したように、クリップAVストリーム(Clip AV stream)は、パケット識別子:PIDで識別されるソースパケットからなるビデオストリームが多重化されている。ビデオストリームは、ソースパケット毎に、ソースパケット内のトランスポートパケットのヘッダに含まれるPIDにより区別される。
すなわち、図32のEPマップ記録領域242に、一つのストリームPID(one_stream_PID)単位のEPマップ(EP_map_for_one_stream_PID)が記録される。
このEPマップ記録領域242の具体的なデータ例を図33に示す。
(1)詳細EPマップ参照データ(ref_to_EP_fine)251、
(2)粗いEPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_coarse)252、
(3)粗いEPマップのSPN(サースパケットナンバー)(SPN_EP_coarse)253、
(4)詳細EPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_fine)254、
(5)詳細EPマップのSPN(ソースパケットナンバー)(SPN_EP_fine)255、
この2つのテーブル構成について、図34を参照して説明する。
(a)粗いEPマップ(EP_coarse)
(b)詳細EPマップ(EP_fine)
(PTS_EP_coarse)252と、(SPN_EP_coarse)253との対応データである。
(PTS_EP_fine)254と、(SPN_EP_fine)255との対応データである。
(1)詳細EPマップ参照データ(ref_to_EP_fine)251、
(2)粗いEPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_coarse)252、
(3)粗いEPマップのSPN(サースパケットナンバー)(SPN_EP_coarse)253、
(4)詳細EPマップのPTS(プレゼンテーションタイムスタンプ)(PTS_EP_fine)254、
(5)詳細EPマップのSPN(ソースパケットナンバー)(SPN_EP_fine)255、
従って、MMTフォーマットデータ対応のクリップ情報ファイルには、MMTフォーマットデータ対応のEPマップを記録する必要がある。
次に、MMTフォーマットデータに対応したEPマップの構成例について説明する。
先に、図9、図10を参照して説明したように画像、音声、字幕等のMMTフォーマットデータを格納したクリップAVストリームファイルは、MMTPパケットのパケット列(図9)、またはTLVパケットのパケット列(図10)として記録する予定となっている。
例えば、図11を参照して説明したMMTフォーマットデータ格納クリップAVストリームファイル71が、MMTPパケット、またはTLVパケットのパケット列によって構成されることになる。
ランダムアクセス再生を行うためには、クリップ情報ファイルに記録されたEPマップを利用した処理が行われることになる。
すなわち、従来型のTSパケット対応のEPマップには、再生開始位置を時間軸上で表現したタイムスタンプ(PTS:プレゼンテーションタイムスタンプ)と、パケット位置情報に相当するパケット取得のためのアドレス情報(SPN:ソースパケットナンバー)との対応データが記録されている。
この問題点について、図35を参照して説明する。
図35の中段に示すのがクリップAVストリームファイルのパケット列であり、個々の四角形がクリップAVストリームファイルを構成する個々のパケット(MMTPパケットまたはTLVパケット)である。
これらのパケットには、画像、音声、字幕、あるいは制御情報(SI)等が個別に格納されている。
なお、クリップAVストリームファイルを構成する個々のパケットが、ランダムアクセス再生可能な再生データを格納したパケットであるか否かは、パケットを構成するMMTPパケットのパケットヘッダに設定されたRAP(ランダムアクセスポイント)フラグの設定に基づいて判別可能である。
図36は、例えば放送局等の送信装置20から情報処理装置30に送信されるMMTフォーマットデータを構成するMMTPパケットのデータ構成(シンタクス)を示す図である。
ヘッダ部311には、ペイロード部312に格納されたデータの種類等の情報が記録される。ヘッダ部311の記録データの一つとして、ランダムアクセスポイント情報フラグ(RAP_flag)313が記録される。
MMTPパケットがランダムアクセスポイントとなるデータを格納したパケットであるか否かを示すフラグであり、
ランダムアクセスポイントとなるデータ格納したパケットである場合は1、
ランダムアクセスポイントとなるデータ格納したパケットでない場合は0、
この設定のフラグが記録される。
メディアからのデータ再生を実行する再生装置は、クリップAVストリームファイル内の各MMTPパケットのヘッダ情報に格納されたRAP_flagの設定値を確認し、RAP_flag=1の設定パケットを検出する。
図37に示す例ではMMTPパケット315,316がRAP_flag=1の設定パケットである。
しかし、ここで、問題となるのが、このRAP_flag=1の設定パケットの中に格納されているデータがMMTフォーマットデータであり、MMTフォーマットデータの再生開始時間等の情報がこのパケットには記録されていないという問題である。
再生装置は、図35に示すパケット302が、ランダムアクセス再生可能な再生データを格納したパケットであることをRAPフラグに基づいて確認することができる。
しかし、このパケット302に格納された再生対象データ、例えば画像データの再生に必要となる再生時間情報等のタイムスタンプは、このパケット302ではなく、制御情報(MPT)格納パケット#1,301に格納されている。
MMTパッケージテーブル(MPT)は、例えば画像、音声、字幕等、のデータ種類(アセットタイプ)毎に、データの属性情報(アセット記述子)を詳細に記録したテーブルである。
先に図21を参照して説明したように、MPUタイムスタンプ記述子には、以下の各データが記録される。
MPUシーケンス番号(MPU_sequenc_number)
MPU再生時刻(MPU_presentation_time)
MPU再生時刻(MPU_presentation_time)には、MPUの再生時間(提示時間)がNTP(ネットワークタイムプロトコル)に従った時間情報として記録される。
なお、NTP時間(NTPタイムスタンプ)は、例えば64ビットデータの絶対時刻情報、すなわち予め規定された基準時刻からの経過時間を示す絶対時刻情報である。上位32ビットで1秒以上の時間情報(経過時間情報)を示し、下位32ビットで1秒以下の時間情報(経過時間情報)を示す。
なお、全体を32ビットとして、上位16ビットで1秒以上の時間情報を示し、下位16ビットで1秒以下の時間情報を示す短形式のNTP時間情報を用いる設定も可能である。
図38に示すように、MPU拡張タイムスタンプ記述子には、以下の各データが記録される。
MPUシーケンス番号(MPU_sequenc_number)317、
MPU復号時間オフセット(MPU_decoding_time_offset)318、
MPU復号時間オフセット(MPU_decoding_time_offset)318には、MPUの復号時間と再生時間(提示時間)との差分情報が記録される。
なお、制御情報(MPT)格納パケット#1については、受信エラー等の対策として、再生データ格納パケット#1,302の後に再送することも許容されている。
この結果として、図35の中段に示すパケット列(MMTPパケット列またはTLVパケット列)がメディアに記録される。
一方、(処理例b)は、再生データ格納パケット#1,302の再生に必要となるタイムスタンプ等の制御情報を格納した制御情報(MPT)格納パケット#1,303を後続配信パケットから選択してタイムスタンプ情報を取得する処理例を示している。
上記の問題を解決するため、MMTフォーマットデータ対応のクリップAVストリームファイルをBD等のメディアに記録する際に、MMTフォーマットデータ対応のEPマップを記録したクリップ情報ファイルを生成してメディアに記録する。
以下、このMMTフォーマットデータ対応のEPマップの複数の具体例について説明する。
(a)MMTフォーマットデータ対応のEPマップ例1
(b)MMTフォーマットデータ対応のEPマップ例2
(c)MMTフォーマットデータ対応のEPマップ例3
まず、図39以下を参照して、
(a)MMTフォーマットデータ対応のEPマップ例1
について説明する。
(a)MMTフォーマットデータ対応のEPマップ例1は、データ記録フィールドとして、以下の各フィールドを有している。
NTP時間記録領域(NTP_time)321、
MMTバイトアドレス記録領域(MMT_byte_adress)322、
バイトオフセット記録領域(byte_offset)323、
この時間情報は、例えば、このEPマップを適用して再生される再生データに含まれるランダムアクセス先の再生開始位置を時間軸上で表現したタイムスタンプ(PTS:プレゼンテーションタイムスタンプ)に相当する。
なお、EPマップに記録されるNTP(ネットワークタイムプロトコル)に従った時間情報は、例えば、先に図19他を参照して説明したMPT(MMTパッケージテーブル)等の制御情報(SI)から取得される。
具体的には、例えば画像(V)、音声(A)、あるいは字幕等、再生対象データ格納パケット(MMTPパケットまたはTLVパケット)の位置情報として、このパケットが格納されたクリップAVストリームファイルの先頭パケット(MMTPパケットまたはTLVパケット)の先頭位置からのバイト数を記録する。例えば64ビットでバイト数を記録する。
MMTバイトアドレス記録領域(MMT_byte_adress)322、
このデータを利用して、再生データ格納パケットのパケット位置を即座に検出することが可能となる。
すなわち、図40(1),(2)に示す再生データ格納パケット#1,332に対する矢印位置であるEPマップの示すエントリポイントを即座に検出できる。
PTS(プレゼンテーションタイムスタンプ)と、SPN(ソースパケットトナンバー)との対応データを記録した構成である。
これに対して、MMTフォーマットでは、
PTSの代わりに、NTP(ネットワークタイムプロトコル)時間を利用し、
SPNの代わりに、MMTバイトアドレスを利用する構成とする。
(a)粗いEPマップ(EP_coarse)
(b)詳細EPマップ(EP_fine)
これらの2つのマップの構成を有しているが、図39(a)に示すMMTフォーマットデータ対応のEPマップは、1つのマップからなる設定である。
バイトオフセット記録領域(byte_offset)323が設定される。
このバイトオフセット記録領域(byte_offset)323には、このEPマップを適用して再生される再生データを格納した再生データ格納パケットのパケット位置と、その再生データ格納パケットの再生処理に適用するタイムスタンプ情報等を格納した制御情報格納パケットとの離間距離に相当するオフセット情報がバイト情報として記録される。
図40には、図39のバイトオフセット記録領域(byte_offset)323に記録するオフセット情報の以下の2つの例を示している。
(例1)再生データに先行するタイムスタンプ格納パケット位置を示すオフセット情報(byte_offset)の例
(例2)再生データの後のタイムスタンプ格納パケット位置を示すオフセット情報(byte_offset)の例
この(例1)は、図39に示すEPマップを適用した再生対象データを格納した再生データ格納パケット#1,332に先行して、そのパケットの再生に適用するタイムスタンプ情報を格納した制御情報格納パケット#1,331が記録されている場合の例である。
具体的には、例えば、再生データ格納パケットと、制御情報格納パケットの離間距離を示すバイト情報を31ビット情報として記録し、さらに、制御情報格納パケットが、再生データ格納パケットより前方のデータ記録位置にあるか、後方のデータ記録位置にあるかを識別するための制御情報記録位置識別フラグ(Plus_minus_flag)を1ビット記録する。
制御情報記録位置識別フラグ(Plus_minus_flag=0
とする。
また、図40(2)に示すように、再生データ格納パケットより、後方位置に制御情報格納パケットが位置していることを示す場合は、
制御情報記録位置識別フラグ(Plus_minus_flag=1
とする。
まず、再生装置は、図39に示すEPマップから、
NTP時間記録領域(NTP_time)321、
MMTバイトアドレス記録領域(MMT_byte_adress)322、
これらのデータを読み取り、ランダムアクセスポイントとなるデータ位置を検出し、再生データ格納パケットから再生対象データを取得する。
バイトオフセット記録領域(byte_offset)323、
を読み取り、取得した再生データの再生に適用するタイムスタンプ(PTS/DTS)を記録した制御情報格納パケットの記録位置を確認し、制御情報格納パケットを取得して、制御情報からタイムスタンプ(PTS/DTS)を取得する。
さらに、取得したタイムスタンプ(DTS/PTS)に従って規定されるデコード開始時間、再生開始時間に従ってデコード処理と再生処理を実行する。
これらのすべての制御情報格納パケットの位置を示すように複数のバイトオフセット情報を記録する構成としてもよい。
図41は、「(a-2)MMTフォーマットデータ対応のEPマップ例1(変形例)」のデータ構成(シンタクス)を示す図である。
(a-2)MMTフォーマットデータ対応のEPマップ例1(変形例)においては、
タイムスタンプの記録された制御情報格納パケットの位置を示すバイトオフセット記録領域(byte_offset)323の前段に、
「ループ設定データ(for(i=0;i<num_of_timestamp;i++)記録領域324」
を設定した構成を持つ。
このようなループ設定とすることで、複数の制御情報格納パケットの位置を示す複数のバイトオフセット(byte_offset)が記録可能となる。
次に、図42に示す、
(b)MMTフォーマットデータ対応のEPマップ例2
ついて説明する。
図42は、「(b)MMTフォーマットデータ対応のEPマップ例2」のデータ構成(シンタクス)を示す図である。
この図42に示すEPマップ例2は、データ記録フィールドとして、以下の各フィールドを有している。
NTP時間記録領域(NTP_time)341、
MMTバイトアドレス記録領域(MMT_byte_adress)342、
バイトオフセット記録領域(byte_offset)343、
これらの記録領域の名称は、先に説明した図39(a)に示す例1と同様の名称であるが、本例において、
「MMTバイトアドレス記録領域(MMT_byte_adress)342」は、
このEPマップを適用して再生される再生対象データを格納したパケットのパケット位置を示すアドレス情報ではなく、このEPマップを適用して再生される再生対象データの再生処理に適用する再生制御情報格納パケットのパケット位置を示すアドレス情報の記録領域である。
EPマップに記録された、
MMTバイトアドレス記録領域(MMT_byte_adress)342、
このデータを利用して、制御情報格納パケットのパケット位置を即座に検出することが可能となる。
すなわち、図43に示す制御情報(MPT)格納パケット#1,351に対する矢印位置であるEPマップの示すエントリポイントを即座に検出できる。
EPマップは、画像、音声、字幕等の個々のストリーム単位で設定される。
画像対応のEPマップには、図43に示すように、タイムスタンプ情報等を格納した制御情報格納パケット351のパケット位置を基準位置として、この基準位置から、再生データとしての画像(V)を格納した再生データ(V)格納パケット352のパケット位置までの距離(byte_offset(V))が記録される。
このように、EPマップは、画像、音声、字幕等の個々のストリーム単位で設定される。
まず、再生装置は、図42に示すEPマップから、
NTP時間記録領域(NTP_time)341、
MMTバイトアドレス記録領域(MMT_byte_adress)342、
これらのデータを読み取り、制御情報格納パケットの記録位置を検出する。
バイトオフセット記録領域(byte_offset)343、
を読み取り、ランダムアクセス再生対象データを格納した再生データ格納パケットの記録位置を確認し、再生データを取得する。
次に、図44に示す、
(c)MMTフォーマットデータ対応のEPマップ例3
について説明する。
図44は、「(c)MMTフォーマットデータ対応のEPマップ例3」のデータ構成(シンタクス)を示す図である。
この図44に示すEPマップ例3は、データ記録フィールドとして、以下の各フィールドを有している。
NTP時間記録領域(NTP_time)361、
MMTバイトアドレス記録領域(MMT_byte_adress)362、
MPT記録タイムスタンプ情報記録領域363、
MMTバイトアドレス記録領域(MMT_byte_adress)362、
これらの記録領域のデータは、先に説明した図38(a)に示す例1と同様のデータである。
MMTバイトアドレス記録領域(MMT_byte_adress)362は、このEPマップを適用して再生される再生対象データを格納したパケットのパケット位置を示すアドレス情報である。
MMTフォーマットデータとして送信装置から送信される制御情報(SI)に含まれるMMTパッケージテーブル(MPT:MMT Package Table)に記録されているタイムスタンプ(PTS/DTS)情報のコピーデータを記録する領域である。
記録装置は、送信装置から送信される制御情報(SI)に含まれるMMTパッケージテーブル(MPT:MMT Package Table)を参照して、
再生(提示)時間情報を示すタイムスタンプであるPTS(プレゼンテーションタイムスタンプ)、さらに、復号時間を示すタイムスタンプであるDTS(デコーディングタイムスタンプ)に関するデータを抽出して、EPマップに記録する。
さらに、先に図38を参照して説明したように、MPU拡張タイムスタンプ記述子として、MPU単位の復号時間情報を示すタイムスタンプ(DTS Decoding Timestamp)が記録されている。
記録装置は、これらのデータをMMTパッケージテーブル(MPT)から取得してEPマップに記録する。
まず、メディアに対するデータ記録を行う記録装置は、送信装置から送信される制御情報(SI)に含まれるMMTパッケージテーブル(MPT:MMT Package Table)を格納した制御情報格納パケット351から、再生(提示)時間情報を示すタイムスタンプであるPTS(プレゼンテーションタイムスタンプ)、さらに、復号時間を示すタイムスタンプであるDTS(デコーディングタイムスタンプ)に関するデータを抽出して、EPマップに記録する。図45に示すステップS11の処理である。
なお、EPマップは、クリップ情報ファイルに記録される。
図44に示すデータ構成を持つEPマップを利用して再生を行う再生装置は、図45に示すように、ステップS21において再生時にEPマップを参照して再生処理を実行する。
まず、図44に示すEPマップに記録された、
NTP時間記録領域(NTP_time)361、
MMTバイトアドレス記録領域(MMT_byte_adress)362、
このデータを利用して、図45に示す再生データ格納パケット#1,372のパケット位置を検出する。
MPT記録タイムスタンプ情報記録領域363、
の記録データを読み取り、タイムスタンプ(PTS/DTS)を取得し、取得したタイムスタンプ(DTS/PTS)に従って規定されるデコード開始時間、再生開始時間に従ってデコード処理と再生処理を実行する。
次に、図46以下を参照して情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について説明する。
さらに、このデータ記録処理に際して、プレイリストやクリップ情報ファイル等のデータベースファイルに、MMTフォーマットデータ対応の制御情報、属性情報等を記録する。
情報処理装置400は、情報記録媒体(記録メディア)420に、クリップAVストリームファイル、さらに、プレイリストやクリップ情報ファイル等のデータベースファイルを記録する。
データ入力部401は、MMTフォーマットデータ431を送信する例えば放送局やコンテンツサーバ等からの送信データを受信する受信部、あるいは、MMTフォーマットデータ431を記録したメディアからのデータ読み取りを実行するメディア読み取り部等によって構成される。
ユーザ入力部402は、例えば情報記録媒体420に対するデータ記録の開始要求等を入力する。
デマルチプレクサ(DeMUX)405は、MMTフォーマットデータ431から、画像、音声、字幕等の各データを格納したパケットや、通知情報や制御情報等を格納したシグナリング情報(TLV-SI,MMT-SI)等の補助情報を取得し、データ種別のパケットに分類し、各パケットを、データ種類に応じて、記録データ生成部406の字幕データ生成部411、画像データ生成部412、音声データ生成部413、補助情報生成部414に入力する。
画像データ生成部412は、データ入力部401が入力し、記憶部404に格納されたMMTフォーマットデータ331から、画像データを取得し、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
音声データ生成部413は、データ入力部401が入力し、記憶部404に格納されたMMTフォーマットデータ431から、音声データを取得し、BDAVフォーマットにおいて規定されるストリームファイル格納用データを生成する。
以下、図49のフローに示す各ステップの処理について、順次、説明する。
まず、情報処理装置400は、ステップS101において、データ入力部401を介して記録用データであるMMTフォーマットデータを入力する。
なお、この記録用データには画像データ、音声データ、字幕データ、さらに、通知情報や制御情報等を格納したシグナリング情報(TLV-SI,MMT-SI)等が含まれる。
次に、ステップS102において、情報処理装置400は、入力したMMTフォーマットデータのデマルチプレクス処理、すなわち、データ種類単位のデータ分離処理を行う。画像、音声、字幕、制御情報等の分離処理を実行する。
次に、ステップS103において、情報処理装置400は、ステップS102で分離した制御情報、例えばシグナリング情報(TLV-SI,MMT-SI)をメモリに格納する。
次に、ステップS104において、情報処理装置400は、ステップS102で分離した画像、音声、字幕核データの少なくともいずれかのデータの再エンコード処理を実行する。
なお、この処理は、情報記録媒体に記録するデータのエンコード態様を変更する場合に行う処理であり、受信データをそのまま記録する場合は、この再エンコード処理は不要である。
次に、ステップS105において、情報処理装置400は、ステップS103でのエンコード後のデータを含む画像、音声、字幕、さらに、再生制御情報等を含むデータの多重化処理を実行する。すなわち、クリップAVストリームファイルの生成処理を実行する。
なお、クリップAVストリームファイルに格納する再生制御情報は、例えば図19等を参照して説明したMPT(MMTパッケージテーブル)から取得した情報等である。
次に、ステップS106において、情報処理装置400は、入力したMMTフォーマットデータの構成データを利用して、クリップ情報ファイルを生成する。
例えば、先に図24~図45を参照して説明したクリップ情報ファイル、すなわち、MMTフォーマットデータを格納したクリップAVストリームファイルに対応するクリップ情報ファイルを生成する。
このクリップ情報ファイルにはEPマップが含まれる。
次に、ステップS107において、情報処理装置400は、入力したMMTフォーマットデータの構成データを利用して、プレイリストファイルを生成する。
例えば、先に図12~図18を参照して説明したプレイリストファイル、すなわち、MMTフォーマットデータを格納したクリップAVストリームファイルに対応するプレイリストファイルを生成する。
なお、このステップS107のプレイリストファイル生成処理の詳細については、図51を参照して、後段で説明する。
次に、ステップS108において、情報処理装置400は、入力したMMTフォーマットデータを利用してその他のデータベースファイルを生成する。
次に、ステップS109において、情報処理装置400は、生成したAVストリームファイルとデータベースファイルを利用してBDAVフォーマットデータを生成する。
次に、ステップS110において、情報処理装置400は、ステップS109で生成したBDAVフォーマットデータを情報記録媒体(メディア)に記録する。
図48~図50に示すフローチャートは、先に説明した3種類のEPマップの生成処理のシーケンスを個別に説明するフローである。すなわち、
図48は、MMTフォーマットデータ対応EPマップ例1(図39~図41)
図49は、MMTフォーマットデータ対応EPマップ例2(図42~図43)
図50は、MMTフォーマットデータ対応EPマップ例3(図44~図45)
これら3種類の異なるEPマップの生成処理を含むフローである。て
まず、図48に示すフロー、すなわち、先に図39~図41を参照して説明したMMTフォーマットデータ対応EPマップ例1に相当するEPマップを生成してクリップ情報ファイルに記録する処理を含むクリップ情報ファイル生成処理フローの各ステップの処理について、順次、説明する。
まず、ステップS121において、情報処理装置400は、クリップAVストリームファイルに格納したMMTフォーマットデータであるMMTPパケットのRAP(ランダムアクセスポイント)フラグを確認する。
先に図37等を参照して説明したように、RAPフラグ=1の設定されたMMTPパケットは、ランダムアクセスポイントを含むデータである。
次に、ステップS122において、情報処理装置400は、RAPフラグ=1の設定されたMMTPパケットのパケット位置と、時刻情報(NTP時間)との対応データをEPマップに記録する。
この処理は、先に図39~図41を参照して説明したMMTフォーマットデータ対応のEPマップの生成処理である。パケット位置情報は、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト位置を利用する。また、時間情報はNTP(ネットワークタイププロトコル)時間を利用する。
次に、ステップS123において、情報処理装置400は、RAPフラグ=1の再生データ格納パケットと、タイムスタンプを格納した制御情報格納パケットとの離間距離と、方向を取得し、オフセット情報(byte_offset)として、EPマップに記録する。
この処理も、先に図39~図41を参照して説明したMMTフォーマットデータ対応のEPマップの生成処理である。
例えば、再生データ格納パケットと、制御情報格納パケットの離間距離を示すバイト情報(byte_offset)を31ビット情報として記録し、さらに、制御情報格納パケットが、再生データ格納パケットより前方のデータ記録位置にあるか、後方のデータ記録位置にあるかを識別するための制御情報記録位置識別フラグ(Plus_minus_flag)を1ビット記録する。
次に、ステップS124において、情報処理装置400は、クリップ情報ファイルのアプリケーションタイプ(Application_type)と、クリップストリームタイプ(Clip_stream_type)の値を[3]に設定する。
次に、ステップS125において、情報処理装置400は、クリップ情報ファイルの記録レート(recording_rate)、平均レート(average_rate)を記録する。
TS平均レート(TS_average_rate)214、
TS記録レート(TS_recording_rate)215、
これらのデータ記録処理である。前述したように、このクリップ情報ファイルによる再生対象データであるクリップAVストリームファイルのトランスポートストリームの平均ビットレートと、記録レートをbytes/secondの単位で表したものである。
次に、ステップS126において、情報処理装置400は、クリップ情報ファイルの構成データである、
クリップ情報(ClipInfo)、
シーケンス情報(SequenceInfo)、
プログラム情報(ProgramInfo)、
CPI情報(CPI)、
クリップマーク(ClipMark)、
これらの各データを生成する。
なお、これらの各データ生成処理において、再生対象データがMMTフォーマットデータである場合、例えば、時間情報としてはNTP時刻情報、パケット位置はストリームファイル(クリップAVストリームファイル)に格納された最初のMMTPパケットの先頭からのバイト数データを取得して記録する。
なお、制御対象がMPEG-2TSフォーマットデータを格納したクリップAVストリームファイルである場合は、従来と同様のクリップ情報ファイル生成処理を行えばよい。
まず、ステップS131において、情報処理装置400は、クリップAVストリームファイルに格納したMMTフォーマットデータであるMMTPパケットのRAP(ランダムアクセスポイント)フラグを確認する。
次に、ステップS132において、情報処理装置400は、タイムスタンプ(PTS/DTS)を格納した制御情報格納パケット位置の識別情報となるMMTバイトアドレス(MMT_byte_adress)、NTP時間(NTP_time)を、EPマップに記録する。
この処理は、先に図42~図43を参照して説明したMMTフォーマットデータ対応のEPマップの生成処理である。
アドレス情報は、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト位置を利用する。また、時間情報はNTP(ネットワークタイププロトコル)時間を利用する。
次に、ステップS133において、情報処理装置400は、タイムスタンプ(PTS/DTS)を格納した制御情報格納パケットと、RAPフラグ=1の再生データ格納パケットとの離間距離と、方向を取得し、オフセット情報(byte_offset)として、EPマップに記録する。
この処理も、先に図42~図43を参照して説明したMMTフォーマットデータ対応のEPマップの生成処理である。
例えば、再生データ格納パケットと、制御情報格納パケットの離間距離を示すバイト情報(byte_offset)を31ビット情報として記録し、さらに、再生データ格納パケットが、制御情報格納パケットより前方のデータ記録位置にあるか、後方のデータ記録位置にあるかを識別するための制御情報記録位置識別フラグ(Plus_minus_flag)を1ビット記録する。
次のステップS134~S136の処理は、図48を参照して説明したステップS124~S126の処理と同様の処理であるので説明を省略する。
まず、ステップS141において、情報処理装置400は、クリップAVストリームファイルに格納したMMTフォーマットデータであるMMTPパケットのRAP(ランダムアクセスポイント)フラグを確認する。
次に、ステップS142において、情報処理装置400は、RAPフラグ=1の設定されたMMTPパケットのパケット位置と、時刻情報(NTP時間)との対応データをEPマップに記録する。
この処理は、先に図44~図45を参照して説明したMMTフォーマットデータ対応のEPマップの生成処理である。パケット位置情報は、クリップAVストリームファイルの先頭(=ファイルに格納された最初のMMTPパケットの先頭)からのバイト位置を利用する。また、時間情報はNTP(ネットワークタイププロトコル)時間を利用する。
次に、ステップS143において、情報処理装置400は、RAPフラグ=1の再生データ格納パケットに格納された再生データに対応するタイムスタンプ(PTS/DTS)関連データを、MPTから取得して、EPマップに記録する。
この処理も、先に図44~図45を参照して説明したMMTフォーマットデータ対応のEPマップの生成処理である。
図44に示すEPマップのMPT記録タイムスタンプ情報記録領域363に対するデータ記録処理であり、MMTフォーマットデータとして送信装置から送信される制御情報(SI)に含まれるMMTパッケージテーブル(MPT:MMT Package Table)に記録されているタイムスタンプ(PTS/DTS)情報のコピーデータを記録する。
次のステップS144~S146の処理は、図48を参照して説明したステップS124~S126の処理と同様の処理であるので説明を省略する。
なお、図51に示すフローチャートは、MMTフォーマットデータを格納したクリップAVストリームファイルの制御に利用されるプレイリストの生成シーケンスである。
図51に示すフローの各ステップの処理について、順次、説明する。
まず、ステップS151において、情報処理装置400は、プレイリストファイルに記録するCPIタイプ(PL_CPI_type)の値を[3]に設定する。
図16の「(2)新たなCPIタイプ記録データ(MPEG-2TS対応データとMMT対応データを記録)」を参照して説明したように、
PL_CPIタイプ(PL_CPI_type)=3は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MMT対応のEPマップであることを意味する。
次に、ステップS152において、情報処理装置400は、プレイリストファイルに記録する各プレイアイテムの時間情報(IN_time,OUT_time)をNTP時間情報として記録する。
図18(2)の「(2)新たなプレイアイテム情報記録データ(MMT対応プレイリスト)」に示すように、
開始時間(IN_time)は、プレイアイテム(PlayItem)再生開始点の再生開始時間情報である。再生対象データがMMTフォーマットデータである場合、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
終了時間(OUT_time)は、プレイアイテム(PlayItem)再生終了点の再生終了時間情報である。再生対象データがMMTフォーマットデータである場合、NTP(ネットワークタイムプロトコル)に従った時間情報を記録する。
テレビ(TV)32等の情報処理装置30は、送信装置20が送信するNTP(ネットワークタイムプロトコル)に従った時間情報を取得して、プレイリストに記録する。
次に、ステップS153において、情報処理装置400は、プレイリストファイルの構成データである、
プレイアイテム(PlayItem)、
プレイリストマーク(PlayListMark)、
これらの各データを生成する。
なお、制御対象がMPEG-2TSフォーマットデータを格納したクリップAVストリームファイルである場合は、従来と同様のプレイリストファイル生成処理を行えばよい。
次に、図52以下を参照して情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について説明する。
情報処理装置500は、図52に示す情報記録媒体(記録メディア)520に記録されたデータを読み取り、出力装置(表示部+スピーカ)530に出力する。なお、出力装置530は、例えばテレビ等であり、ディスプレイ、スピーカ等を備えた表示装置である。
なお、情報処理装置500は先に図46を参照して説明したデータ記録を行う情報処理装置400と同一の装置である場合もある。すなわち、データ記録再生の両機能を有する情報処理装置である。
出力データ生成部516は、字幕、画像、音声の各データを、入出力インタフェース407を介して出力装置(表示部+スピーカ)530に出力する。
MPEG-2TSフォーマットデータを格納したストリームファイルと、
MMTフォーマットデータを格納したストリームファイルを有する場合がある。
この場合、情報処理装置500は、BDAVフォーマットにおいて規定されたプレイリストファイルとクリップ情報ファイルを適用して、MPEG-2TSフォーマットデータを格納したストリームファイル、および、MMTフォーマットデータを格納したストリームファイルの再生処理を実行することになる。
以下、図53のフローに示す各ステップの処理について、順次、説明する。
まず、情報処理装置500の制御部501は、ステップS201において、例えばユーザの入力した再生データ指定情報に従い、指定された再生データ対応の再生制御情報を格納したプレイリストファイルを情報記録媒体(メディア)から読み取る。
次に、情報処理装置500の制御部501は、ステップS202において、プレイリストファイルに記録されたPL_CPIタイプ(PL_CPI_type)を読み出す。
先に図12~図16を参照して説明したように、PL_CPIタイプ(PL_CPI_type)は、プレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプを示す情報である。
なお、CPI(Characteristic Point Information)は、クリップ情報ファイルの記録データであり、例えば、再生開始点のデータアドレスを取得するためのデータである。
PL_CPIタイプ(PL_CPI_type)=2は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MPEG-2TS対応のTUマップであることを意味する。
PL_CPIタイプ(PL_CPI_type)=3は、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MMT対応のEPマップであることを意味する。
このように、PL_CPIタイプ(PL_CPI_type)=1~3の3種類の定義を可能として、3つのCPIタイプを識別可能としている。
次に、情報処理装置500の制御部501は、ステップS203において、ステップS202で読み出したPL_CPIタイプ(PL_CPI_type)の設定値が[3]であるか否かを判定する。
すなわち、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが、MMT対応のEPマップであるか否かを判定する。
一方、PL_CPIタイプ(PL_CPI_type)が3でない場合は、ステップS203の判定がNoとなり、ステップS204に進む。
PL_CPIタイプ(PL_CPI_type)が3でない場合は、ステップS204の処理を実行する。
PL_CPIタイプが3以外の場合、このプレイリストファイルに規定されたプレイアイテム(PlayItem)によって参照されるクリップ情報ファイル内のCPIタイプが1または2であり、再生対象データがMPEG-2TSフォーマットデータである。
この場合、情報処理装置500は、従来の再生処理手法を適用して、MPEG-2TSフォーマットデータの再生処理を実行する。
一方、PL_CPIタイプ(PL_CPI_type)が3の場合は、ステップS205において、このプレイリストファイルによる再生対象データがMMTフォーマットデータであると判定する。
次に、情報処理装置500は、ステップS206において、MMTフォーマットデータ対応のプレイリストとクリップ情報ファイルを適用してMMTフォーマットデータの格納されたクリップ情報ファイルの格納データの再生処理を実行する。
さらに再生データ格納パケットと制御情報格納パケットとの相対的位置関係を示すオフセット情報、またはタイムスタンプ情報が記録されたEPマップである。
図54に示すフローチャートの各ステップの処理について説明する。
まず、情報処理装置500は、ステップS211において、ランダムアクセス再生に適用するプレイリストのプレイアイテム情報から、クリップ情報ファイル名(Clip_information_file_name)を読み取る。
次に、情報処理装置500は、ステップS212において、ステップS211でプレイリストファイルから読み取ったクリップ情報ファイル名(Clip_information_file_name)を有するクリップ情報ファイルを情報記録媒体(メディア)から読み取る。
次に、情報処理装置500は、ステップS213において、クリップ情報ファイルのシーケンス情報(SequenceInfo)から、再生に適用するクロック情報であるATC,STCを特定する。なお、これらの時間情報は、再生対象データがMMTフォーマットデータである場合、NTP時間情報として記録されている。
ATC(アライバルタイムクロック)と、STC(システムタイムクロック)については、先に図29を参照して説明した通りであり、データ再生に適用されるクロック情報である。
次に、情報処理装置500は、ステップS214において、クリップ情報ファイルのシーケンス情報(SequenceInfo)から、再生開始位置(SPN_STC_Start)と、再生開始時間(presentation_start_time)を取得する。
次に、情報処理装置500は、ステップS215において、クリップ情報ファイルのCPI情報として記録されたEPマップの記録情報に従って、再生データ対応のタイムスタンプ(PTS/DTS)を取得する。
この処理は、先に図39~図45を参照して説明したMMTフォーマットデータ対応のEPマップを利用した処理である。
この具体的処理シーケンスについては、図55~図57に示すフローチャートを参照して後段で説明する。
次に、情報処理装置500は、ステップS216において、クリップ情報ファイルのクリップ情報(ClipInfo)に記録された記録レート(recording_rate)に従って、クリップAVストリームファイルに格納されたMMTフォーマットデータを読み取る。
なお、図25では、記録レート情報として、TS_recording_rateと記載されているが、再生対象データがMMTパケットを持つMMTフォーマットである場合、MMTフォーマットに応じたビットレートがここに記録されている。
次に、情報処理装置500は、ステップS217において、情報記録媒体(メディア)から読み出したクリップAVストリームファイルに格納されたMMTフォーマットデータのデマルチプレクス処理、デコード処理、再生処理を実行する。
クリップ情報ファイルのCPI情報として記録されたEPマップの記録情報に従って、再生データ対応のタイムスタンプ(PTS/DTS)を取得する処理の詳細シーケンスについて、図55~図57に示すフローチャートを参照して説明する。
図55は、MMTフォーマットデータ対応EPマップ例1(図39~図41)
図56は、MMTフォーマットデータ対応EPマップ例2(図42~図43)
図57は、MMTフォーマットデータ対応EPマップ例3(図44~図45)
これら3種類の異なるEPマップの生成処理を含むフローである。て
まず、情報処理装置500は、ステップS221において、クリップ情報ファイルのCPI情報として記録されたEPマップから、MMTバイトアドレス(MMT_byte_adress)、NTP時間(NTP_time)を読み取り、再生データ格納パケットの開始位置を判別する。
これらのEPマップには、以下のデータ記録領域が設定されている。
NTP時間記録領域(NTP_time)321、
MMTバイトアドレス記録領域(MMT_byte_adress)322、
バイトオフセット記録領域(byte_offset)323、
次に、情報処理装置500は、ステップS222において、EPマップに記録されたバイトオフセット(byte_offset)を読み取り、タイムスタンプ(PTS/DTS)を格納した制御情報格納パケットの位置を判別する。
再生データ格納パケットの位置は、ステップS221において確認済みであり、ステップS222において、EPマップに記録されたバイトオフセット(byte_offset)を読み取り、このデータに従って、制御情報格納パケットの位置を判別する。
情報処理装置は、次に、ステップS223において、制御情報格納パケットから、再生データ対応のタイムスタンプ(PTS/DTS)を取得する。
MMTフォーマットデータとして送信される制御情報であるMPT(MMTパッケージテーブル)は、先に図19を参照して説明したデータ構成を有する。
このMPTには、先に図21を参照して説明したように、MPUタイムスタンプ記述子として、MPU単位の再生(提示)時間情報を示すタイムスタンプ(PTS Presentation Timestamp)が記録されている。
さらに、先に図38を参照して説明したように、MPU拡張タイムスタンプ記述子として、MPU単位の復号時間情報を示すタイムスタンプ(DTS Decoding Timestamp)が記録されている。
情報処理装置は、ステップS223において、制御情報格納パケットに格納されたMPTから、再生データ対応のタイムスタンプ(PTS/DTS)を取得する。
図56に示すフローの各ステップの処理について説明する。
まず、情報処理装置500は、ステップS231において、クリップ情報ファイルのCPI情報として記録されたEPマップから、MMTバイトアドレス(MMT_byte_adress)、NTP時間(NTP_time)を読み取り、タイムスタンプ(PTS/DTS)を格納した制御情報格納パケットの開始位置を判別する。
このEPマップには、以下のデータ記録領域が設定されている。
NTP時間記録領域(NTP_time)341、
MMTバイトアドレス記録領域(MMT_byte_adress)342、
バイトオフセット記録領域(byte_offset)343、
次に、情報処理装置500は、ステップS232において、EPマップに記録されたバイトオフセット(byte_offset)を読み取り、再生データ格納パケットの位置を判別する。
制御情報格納パケットの位置は、ステップS231において確認済みであり、ステップS232において、EPマップに記録されたバイトオフセット(byte_offset)を読み取り、このデータに従って、再生データ格納パケットの位置を判別する。
情報処理装置は、次に、ステップS233において、制御情報格納パケットから、再生データ対応のタイムスタンプ(PTS/DTS)を取得する。
これらのタイムスタンプ(PTS/DTS)は、MMTフォーマットデータとして送信される制御情報であるMPT(MMTパッケージテーブル)から取得される。
図57に示すフローの各ステップの処理について説明する。
まず、情報処理装置500は、ステップS241において、クリップ情報ファイルのCPI情報として記録されたEPマップから、MMTバイトアドレス(MMT_byte_adress)、NTP時間(NTP_time)を読み取り、再生データ格納パケットの開始位置を判別する。
このEPマップには、以下のデータ記録領域が設定されている。
NTP時間記録領域(NTP_time)361、
MMTバイトアドレス記録領域(MMT_byte_adress)362、
MPT記録タイムスタンプ情報記録領域363、
次に、情報処理装置500は、ステップS232において、EPマップのMPT記録タイムスタンプ情報記録領域363に記録された再生データ対応のタイムスタンプ(PTS/DTS)を取得する。
これらのタイムスタンプ(PTS/DTS)は、MMTフォーマットデータとして送信される制御情報であるMPT(MMTパッケージテーブル)からEPマップにコピー記録されたデータである。
すなわち、図39~図41を参照して説明したEPマップ例1が利用される場合は、図55に示すフローに従った処理を実行する。
また、図42~図43を参照して説明したEPマップ例2が利用される場合は、図56に示すフローに従った処理を実行する。
さらに、図44~図45を参照して説明したEPマップ例3が利用される場合は、図57に示すフローに従った処理を実行する。
次に、情報記録媒体に対するデータ記録、情報記録媒体からのデータ再生を実行する情報処理装置として適用可能な情報処理装置のハードウェア構成例について、図58を参照して説明する。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部は、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成し、
前記データ処理部は、
前記再生制御情報ファイルとして、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する情報処理装置。
前記制御情報格納パケットのアクセス情報を記録したEPマップ、または、
前記タイムスタンプ情報を記録したEPマップのいずれかのEPマップを生成して、前記再生制御情報ファイルに格納する(1)に記載の情報処理装置。
再生時間情報を規定したPTS(Presentation Timestamp)と、復号時間情報を規定したDTS(Decoding Timestamp)の少なくともいずれかのタイムスタンプを含む(1)または(2)に記載の情報処理装置。
前記制御情報格納パケットのアクセス情報として、
前記再生データ格納パケットと、前記制御情報格納パケットの記録位置の離間距離に相当するオフセット情報を記録した再生制御情報ファイルを生成する(1)~(3)いずれかに記載の情報処理装置。
前記再生データ格納パケットの記録位置識別情報と、
前記再生データ格納パケットの記録位置を基準位置として、前記基準位置と前記制御情報格納パケットの記録位置との離間距離に相当するオフセット情報を記録した再生制御情報ファイルを生成する(1)~(4)いずれかに記載の情報処理装置。
前記制御情報格納パケットの記録位置識別情報と、
前記制御情報格納パケットの記録位置を基準位置として、前記基準位置と前記再生データ格納パケットの記録位置との離間距離に相当するオフセット情報を記録した再生制御情報ファイルを生成する(1)~(4)いずれかに記載の情報処理装置。
前記再生データ格納パケットの記録位置識別情報と、
前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する(1)~(4)いずれかに記載の情報処理装置。
前記タイムスタンプ情報を、
MMTフォーマットデータとして送信されるMMTパッケージテーブル(MPT)から取得する(7)に記載の情報処理装置。
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部は、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行し、
再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行う情報処理装置。
前記制御情報格納パケットのアクセス情報を記録したEPマップ、または、
前記タイムスタンプ情報を記録したEPマップのいずれかのEPマップを利用して再生処理を行う(9)に記載の情報処理装置。
再生時間情報を規定したPTS(Presentation Timestamp)と、復号時間情報を規定したDTS(Decoding Timestamp)の少なくともいずれかのタイムスタンプを含む(9)または(10)に記載の情報処理装置。
前記再生制御情報ファイルから、
前記再生データ格納パケットの記録位置識別情報と、
前記再生データ格納パケットの記録位置を基準位置として、前記基準位置と前記制御情報格納パケットの記録位置との離間距離に相当するオフセット情報を読み取り、
前記オフセット情報に基づいて前記制御情報格納パケットの記録位置を判別して、前記制御情報格納パケットに記録されたタイムスタンプ情報に従って、再生処理を実行する(9)~(11)いずれかに記載の情報処理装置。
前記再生制御情報ファイルから、
前記制御情報格納パケットの記録位置識別情報と、
前記制御情報格納パケットの記録位置を基準位置として、前記基準位置と前記再生データ格納パケットの記録位置との離間距離に相当するオフセット情報をを読み取り、
前記オフセット情報に基づいて前記再生データ格納パケットの記録位置を判別して、前記再生データ格納パケットから再生データを取得し、
前記制御情報格納パケットに記録されたタイムスタンプ情報に従って再生処理を実行する(9)~(11)いずれかに記載の情報処理装置。
前記再生制御情報ファイルから、
前記再生データ格納パケットの記録位置識別情報と、
前記タイムスタンプ情報を読み取り、読み取ったタイムスタンプ情報に従って再生処理を実行する(9)~(11)いずれかに記載の情報処理装置。
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを記録し、
前記再生制御情報ファイルは、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルであり、
前記MMTフォーマットストリームファイル格納データの再生を行う再生装置が、前記タイムスタンプ情報を取得して、再生に利用可能としたデータ記録構成を有する情報記録媒体。
前記制御情報格納パケットのアクセス情報を記録したEPマップ、または、
前記タイムスタンプ情報を記録したEPマップのいずれかのEPマップを記録した再生制御情報ファイルである(15)に記載の情報記録媒体。
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部が、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成し、
前記データ処理部は、
前記再生制御情報ファイルとして、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する情報処理方法。
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部が、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行し、
再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行う情報処理方法。
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成させ、
さらに、前記プログラムは、前記データ処理部に、
前記再生制御情報ファイルとして、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成させるプログラム。
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行させ、
再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行わせるプログラム。
具体的には、例えば、MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、MMTフォーマット対応の再生制御情報ファイルを生成してメディアに記録する。再生制御情報ファイルには、ランダムアクセス再生データを格納した再生データ格納パケットの格納データ再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、またはタイムスタンプ情報を記録する。再生装置は、再生データ格納パケットの格納データ再生時に必要となるタイムスタンプを即時に取得して再生することができる。
本構成により、MMTフォーマットデータをBDAVまたはSPAVフォーマットデータとしてメディアに記録して再生可能とする構成が実現される。
21 放送サーバ
22 データ配信サーバ
30 情報処理装置
31 BDプレーヤ
32 TV
33 PC
34 携帯端末
40 情報記録媒体(メディア)
41 BD
42 HDD
43 フラッシュメモリ
400 情報処理装置
401 データ入力部
402 ユーザ入力部
403 制御部
404 記憶部
405 デマルチプレクサ
406 記録データ生成部
407 記録部
408 ドライブ
411 字幕データ生成部
412 画像データ生成部
413 音声データ生成部
414 補助情報生成部
415 マルチプレクサ
416 データベースファイル生成部
420 情報記録媒体
500 情報処理装置
501 制御部
502 ユーザ入力部
503 ドライブ
504 記録再生部
505 記憶部
506 再生処理部
507 入出力I/F
511 デマルチプレクサ
512 字幕データ生成部
513 画像データ生成部
514 音声データ生成部
515 補助情報生成部
516 出力データ生成部
520 情報記録媒体
530 出力装置(表示部+スピーカ)
601 CPU
602 ROM
603 RAM
604 バス
605 入出力インタフェース
606 入力部
607 出力部
608 記憶部
609 通信部
610 ドライブ
611 リムーバブルメディア
Claims (18)
- MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部は、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成し、
前記データ処理部は、
前記再生制御情報ファイルとして、
制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する情報処理装置。 - 前記データ処理部は、
前記制御情報格納パケットのアクセス情報を記録したEPマップ、または、
前記タイムスタンプ情報を記録したEPマップのいずれかのEPマップを生成して、前記再生制御情報ファイルに格納する請求項1に記載の情報処理装置。 - 前記タイムスタンプ情報は、
再生時間情報を規定したPTS(Presentation Timestamp)と、復号時間情報を規定したDTS(Decoding Timestamp)の少なくともいずれかのタイムスタンプを含む請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記制御情報格納パケットのアクセス情報として、
前記再生データ格納パケットと、前記制御情報格納パケットの記録位置の離間距離に相当するオフセット情報を記録した再生制御情報ファイルを生成する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記再生データ格納パケットの記録位置識別情報と、
前記再生データ格納パケットの記録位置を基準位置として、前記基準位置と前記制御情報格納パケットの記録位置との離間距離に相当するオフセット情報を記録した再生制御情報ファイルを生成する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記制御情報格納パケットの記録位置識別情報と、
前記制御情報格納パケットの記録位置を基準位置として、前記基準位置と前記再生データ格納パケットの記録位置との離間距離に相当するオフセット情報を記録した再生制御情報ファイルを生成する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記再生データ格納パケットの記録位置識別情報と、
前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記タイムスタンプ情報を、
MMTフォーマットデータとして送信されるMMTパッケージテーブル(MPT)から取得する請求項1に記載の情報処理装置。 - 情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部は、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行し、
再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行う情報処理装置。 - 前記データ処理部は、
前記制御情報格納パケットのアクセス情報を記録したEPマップ、または、
前記タイムスタンプ情報を記録したEPマップのいずれかのEPマップを利用して再生処理を行う請求項9に記載の情報処理装置。 - 前記タイムスタンプ情報は、
再生時間情報を規定したPTS(Presentation Timestamp)と、復号時間情報を規定したDTS(Decoding Timestamp)の少なくともいずれかのタイムスタンプを含む請求項9に記載の情報処理装置。 - 前記データ処理部は、
前記再生制御情報ファイルから、
前記再生データ格納パケットの記録位置識別情報と、
前記再生データ格納パケットの記録位置を基準位置として、前記基準位置と前記制御情報格納パケットの記録位置との離間距離に相当するオフセット情報を読み取り、
前記オフセット情報に基づいて前記制御情報格納パケットの記録位置を判別して、前記制御情報格納パケットに記録されたタイムスタンプ情報に従って、再生処理を実行する請求項9に記載の情報処理装置。 - 前記データ処理部は、
前記再生制御情報ファイルから、
前記制御情報格納パケットの記録位置識別情報と、
前記制御情報格納パケットの記録位置を基準位置として、前記基準位置と前記再生データ格納パケットの記録位置との離間距離に相当するオフセット情報を読み取り、
前記オフセット情報に基づいて前記再生データ格納パケットの記録位置を判別して、前記再生データ格納パケットから再生データを取得し、
前記制御情報格納パケットに記録されたタイムスタンプ情報に従って再生処理を実行する請求項9に記載の情報処理装置。 - 前記データ処理部は、
前記再生制御情報ファイルから、
前記再生データ格納パケットの記録位置識別情報と、
前記タイムスタンプ情報を読み取り、読み取ったタイムスタンプ情報に従って再生処理を実行する請求項9に記載の情報処理装置。 - 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記データ処理部が、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成し、
前記データ処理部は、
前記再生制御情報ファイルとして、
制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成する情報処理方法。 - 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記データ処理部が、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行し、
再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行う情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
MMT(MPEG Media Transport)フォーマットデータを入力し、情報記録媒体に対するデータ記録フォーマットであるBDAVフォーマット、またはSPAVフォーマットに従った記録データを生成するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを再生データとして格納したMMTフォーマットストリームファイルと、前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを生成させ、
さらに、前記プログラムは、前記データ処理部に、
前記再生制御情報ファイルとして、
制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、
ランダムアクセス再生可能な再生データを格納した再生データ格納パケットに格納されたデータの再生に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報、または前記タイムスタンプ情報を記録した再生制御情報ファイルを生成させるプログラム。 - 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記情報記録媒体は、MMT(MPEG Media Transport)フォーマットデータを、BDAVフォーマット、またはSPAVフォーマットに従って記録したデータを格納した情報記録媒体であり、
前記プログラムは、前記データ処理部に、
MMTフォーマットデータを格納したMMTフォーマットストリームファイルを利用したデータ再生処理に際して、
前記MMTフォーマットストリームファイルの再生制御情報を格納した再生制御情報ファイルを適用した再生処理を実行させ、
再生データ格納パケットに格納されたデータのランダム再生処理を行う場合、
制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、ランダム再生処理に適用するタイムスタンプ情報を記録した制御情報格納パケットのアクセス情報を記録した再生制御情報ファイル、または、
制御対象ストリームがMMTフォーマットストリームであることを示す識別子と、前記タイムスタンプ情報を記録した再生制御情報ファイルのいずれかを参照して、タイムスタンプ情報の取得処理を行い、取得したタイムスタンプ情報を適用して再生処理を行わせるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017005806 | 2017-01-17 | ||
JP2017005806 | 2017-01-17 | ||
PCT/JP2017/046704 WO2018135259A1 (ja) | 2017-01-17 | 2017-12-26 | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018135259A1 JPWO2018135259A1 (ja) | 2019-11-07 |
JP7070433B2 true JP7070433B2 (ja) | 2022-05-18 |
Family
ID=62909001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018563248A Active JP7070433B2 (ja) | 2017-01-17 | 2017-12-26 | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7070433B2 (ja) |
WO (1) | WO2018135259A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006030767A1 (ja) | 2004-09-13 | 2006-03-23 | Matsushita Electric Industrial Co., Ltd. | データ処理装置 |
JP2015023574A (ja) | 2013-07-22 | 2015-02-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 蓄積方法、再生方法、蓄積装置、および再生装置 |
JP2016103745A (ja) | 2014-11-28 | 2016-06-02 | ソニー株式会社 | 送信装置及び送信方法、並びに、受信装置並びに受信方法 |
JP2018129782A (ja) | 2016-07-08 | 2018-08-16 | 三菱電機株式会社 | 映像記録再生装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2652091C2 (ru) * | 2013-06-21 | 2018-04-25 | Сони Корпорейшн | Устройство и способ передачи, устройство воспроизведения, способ воспроизведения и устройство приема |
-
2017
- 2017-12-26 WO PCT/JP2017/046704 patent/WO2018135259A1/ja active Application Filing
- 2017-12-26 JP JP2018563248A patent/JP7070433B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006030767A1 (ja) | 2004-09-13 | 2006-03-23 | Matsushita Electric Industrial Co., Ltd. | データ処理装置 |
JP2015023574A (ja) | 2013-07-22 | 2015-02-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 蓄積方法、再生方法、蓄積装置、および再生装置 |
JP2016103745A (ja) | 2014-11-28 | 2016-06-02 | ソニー株式会社 | 送信装置及び送信方法、並びに、受信装置並びに受信方法 |
JP2018129782A (ja) | 2016-07-08 | 2018-08-16 | 三菱電機株式会社 | 映像記録再生装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2018135259A1 (ja) | 2018-07-26 |
JPWO2018135259A1 (ja) | 2019-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5008161B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
KR100892012B1 (ko) | 데이터 전송장치 및 방법 | |
JP4682434B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
JP4517267B2 (ja) | 記録装置および方法、再生装置および方法、プログラム、並びに記録媒体 | |
US20080219393A1 (en) | Moving Picture Stream Generation Apparatus, Moving Picture Coding Apparatus, Moving Picture Multiplexing Apparatus and Moving Picture Decoding Apparatus | |
WO2001082608A1 (fr) | Appareil et procede de traitement des informations, programme et support enregistre | |
WO2001082610A1 (en) | Information processing apparatus and method, program, and recorded medium | |
AU2003243049B2 (en) | Recording medium having data structure for managing recording and reproduction of multiple path data recorded thereon and recording and reproducing methods and apparatus | |
JP7031589B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP7074068B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7070432B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7056566B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP7147755B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7024787B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP7014157B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7070433B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
WO2016038811A1 (ja) | 記録媒体、再生装置、および再生方法 | |
WO2018173780A1 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP7070564B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP2008199528A (ja) | 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体 | |
JP2008199527A (ja) | 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220418 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7070433 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |