JP6500895B2 - 情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP6500895B2 JP6500895B2 JP2016520993A JP2016520993A JP6500895B2 JP 6500895 B2 JP6500895 B2 JP 6500895B2 JP 2016520993 A JP2016520993 A JP 2016520993A JP 2016520993 A JP2016520993 A JP 2016520993A JP 6500895 B2 JP6500895 B2 JP 6500895B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- format
- packet
- payload
- start code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 91
- 238000003672 processing method Methods 0.000 title claims description 17
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000006243 chemical reaction Methods 0.000 claims description 192
- 238000012545 processing Methods 0.000 claims description 112
- 238000000034 method Methods 0.000 claims description 84
- 230000008569 process Effects 0.000 claims description 82
- 238000004891 communication Methods 0.000 claims description 32
- 238000007405 data analysis Methods 0.000 claims description 15
- 238000013500 data storage Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 14
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 23
- 230000006978 adaptation Effects 0.000 description 13
- 239000000203 mixture Substances 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 102100022523 Acetoacetyl-CoA synthetase Human genes 0.000 description 2
- 101000678027 Homo sapiens Acetoacetyl-CoA synthetase Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
- G11B20/1217—Formatting, e.g. arrangement of data block or words on the record carriers on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
例えば、BDに対するデータ記録フォーマットとして、BDMV(Blu−ray(登録商標) Disc Movie)フォーマットが利用される。
BDMVフォーマットの記録データを再生するためには、BDMVフォーマットデータの再生用のプログラムを保持していることが必要となる。
このような携帯端末には、BDMVフォーマット対応の再生アプリケーションが搭載されているとは限らない。従って、BDの記録データを携帯端末のメデイアにコピーする場合、BDMVフォーマットではない携帯端末の再生アプリケーションが再生可能なフォーマットに変更してコンテンツを記録する必要がある。
なお、メディア間のデータコピー処理については、例えば特許文献1(特開2008−98765号公報)や、特許文献2(特開2011−222078号公報)に記載がある。
多くの携帯端末は、MP4フォーマットで記録されたMP4データを再生可能な再生アプリケーションを有しており、携帯端末のメディアにコンテンツを記録する場合MP4形式で記録することが求められる。
しかし、現状においてこのフォーマット変換についての具体的な提案はなされていない。フォーマット変換が確実に行われない場合、コピー先でのコンテンツ再生が行えなくなる可能性がある。
MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記データ変換部は、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別するデータ解析部と、
前記データ解析部において選別されたTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行する画像データ変換部を有する情報処理装置にある。
MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
前記データ生成部は、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成する情報生成装置にある。
再生対象データとしてMPEG−2TSフォーマットデータを記録した情報記録媒体であり、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを記録し、
前記情報記録媒体の格納データのフォーマット変換を実行する情報処理装置が、前記TSパケットのヘッダ情報解析によって、スタートコード(SC)の位置を判別し、判別結果に基づくフォーマット変換を行うことを可能とした情報記録媒体にある。
情報処理装置においてデータフォーマット変換を実行する情報処理方法であり、
前記情報処理装置は、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記データ変換部が、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別し、
選別したTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行する情報処理方法にある。
情報処理装置においてデータ生成処理を実行する情報処理方法であり、
前記情報処理装置は、MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
前記データ生成部が、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成する情報処理方法にある。
情報処理装置においてデータフォーマット変換を実行させるプログラムであり、
前記情報処理装置は、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記プログラムは、前記データ変換部に、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別する処理と、
選別したTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択する処理と、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行させるプログラムにある。
情報処理装置においてデータ生成処理を実行させるプログラムであり、
前記情報処理装置は、MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
前記プログラムは、前記データ生成部に、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成させるプログラムにある。
具体的には、フォーマット変換を実行するデータ変換部は、MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別し、選別されたTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する。データ変換部は、例えばTSパケットのヘッダに設定されたトランスポートプライオリティの値に基づいて、ペイロード先頭領域にスタートコード(SC)が設定されたTSパケットであるか否かを判定する。
本構成により、MPEG−2TSフォーマットからMP4フォーマットへの変換を正しく確実に実行可能とする構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.MPEG2−TSフォーマットと、MP4フォーマットについて
2.MPEG−2TSをMP4に変換する場合の問題点について
3.MPEG−2TSからMP4へのフォーマット変換を正しく実行するための構成について(実施例1)
4.MP4フォーマットにおけるレングス情報の算出例について
5.TSパケットのデータ長の制約に対する対応について
6.スタートコード(SC)位置識別用のTSパケットを設定した例について(実施例2)
7.フォーマット変換を行う情報処理装置の構成例について
8.データ生成または記録処理を行なう情報処理装置の構成例について
9.フォーマット変換処理のシーケンスについて
10.その他の実施例について
11.本開示の構成のまとめ
まず、MPEG−2TS(Transport stream)フォーマットと、MP4フォーマットについて説明する。
MPEG−2TSフォーマットと、MP4フォーマットは、いずれも画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを記録媒体(メディア)に格納、または放送波やネットワークを介して伝送する際の符号化データ等のデータ格納形式(コンテナフォーマット)を規定したフォーマットである。
一方、MP4フォーマットは、ISO/IECC14496−14で規定されたフォーマット(コンテナフォーマット)であり、例えばフラッシュメモリ等にデータ記録を行う場合に適したフォーマットである。
画像:MPEG−1、MPEG−2、AVC(MPEG−4AVC)、HEVC(MPEG−4HEVC)、
音声:MP1,MP2,MP3,リニアPCM,DTS
静止画:JPEG
例えば上記の各符号化データがMPEG−2TSにおいて規定するTS(トランスポートストリーム)パケットに分散して格納される。
図1は、例えばROM型のBD(Blu−ray(登録商標) Disc)であるメディア10に記録されたBDMVフォーマットに従った記録データのディレクトリを示す図である。
管理情報設定部11(AACSディレクトリ)には、データの暗号化鍵であるCPSユニットキーファイルや利用制御情報ファイルなどが格納される。
インデックスファイル、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
BDJOファイル、
例えば、これらのファイルが記録される。
プレイリストファイルは、タイトルによって指定されの再生プログラムのプログラム情報に従ったコンテンツの再生順等を規定したファイルであり、再生位置情報を持クリップ情報に対する指定情報を有する。
クリップ情報ファイルは、プレイリストファイルによつて指定されるファイルであり、クリップAVストリームファイルの再生位置情報等を有する。
クリップAVストリームファイルは、再生対象となるAVストリームデータを格納したファイルである。
BDJOファイルは、JAVA(登録商標)プログラム、コマンド等を格納したファイルの実行制御情報を格納したファイルである。
(a)まず、再生アプリケーションによってインデックスファイルから特定のタイトルを指定する。
(b)指定されたタイトルに関連付けられた再生プログラムが選択される。
(c)選択された再生プログラムのプログラム情報に従ってコンテンツの再生順等を規定したプレイリストが選択される。
(d)選択されたプレイリストに規定されたクリップ情報によって、コンテンツ実データとしてのAVストリームあるいはコマンドが読み出されて、AVストリームの再生や、コマンドの実行処理が行われる。
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのデータの対応関係を説明する図である。
プレイリスト(PlayList)ファイルを含むプレイリストレイヤ、
クリップAVストリーム(Clip AV Stream)ファイルと、クリップ情報(Clip Information)ファイルからなるクリップレイヤ、
これらの2つのレイヤに区分できる。
クリップAVストリームファイルに含まれるデータの詳細情報、例えばMPEGデータのIピクチャ位置情報などを記録したEPマップなどの管理情報がクリップ情報ファイルに記録される。
プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
1)MPEG−2TSファイルは、整数個のアラインドユニット(Aligned unit)から構成される。
2)アラインドユニット(Aligned unit)の大きさは、6kB(=6144バイト(2048×3バイト))である。
3)アラインドユニット(Aligned unit)は、ソースパケットの第一バイト目から始まる。
4)ソースパケットは、192バイト長である。一つのソースパケットは、TP_extra_headerとTSパケットから成る。TP_extra_headerは、4バイト長であり、またTSパケットは、188バイト長である。
6)TSパケットのヘッダ(TPヘッダ)にはペイロードのデータ種類を示すPID(プログラムID)が記録される。
7)TSパケットのペイロードは画像や音声等の符号化データであるエレメンタリストリーム(ES)を格納したパケット(パケタイズドエレメンタリストリーム(PES))とPESヘッダ等によって構成される。
8)PESヘッダには、後続のPESパケットに格納されたエレメンタリストリーム(ES)の再生時間情報を示すプレゼンテーションタイムスタンプ(PTS)が記録される。
(a)同期用バイト(Sync byte)
(b)トランスポートエラー識別子(Transport_error_indicator)
(c)ペイロードユニットスタート識別子(Payload_unit_start_indicator)
(d)トランスポートプライオリティ(Transport_priority)
(e)プログラムID(PID)
(f)トランスポートスクランブリングコントロール(Transport scrambling control)
(g)アダプテーションフィールドコントロール(Adaptation field contrpl)
(h)コンティニュイテイカウンタ(Continuity counter)
(i)アダプテーションフィールド(Adaptation field)
図4には、ISO/IEC14496−14で規定されたMP4フォーマットの例として、以下の2つの例を示している。
(a)フラグメンテッド(分割型)MP4ファイル(fragmented movie)
(b)ノンフラグメンテッド(非分割型)MP4ファイル(Non−fragmented movie)
これら図4(a),(b)に示すMP4ファイルは、MP4フォーマットに従ったデータの記録あるいは再生処理における1つの処理単位として設定されるファイルである。
(b)ノンフラグメンテッド(非分割型)MP4ファイル(Non−fragmented movie)は、再生対象データである画像や音声などのデータを分割せずに格納したファイルフォーマットである。
各ボックスは、ボックスサイズ(box−size)、ボックスタイプ(box−type)、ボックスデータ(box−data)の各領域を有する。
ボックスサイズ(box−size)には、ボックスのデータ長(バイトサイズ)が記録される。
ボックスタイプ(box−type)には、ボックスに格納するデータの種類が記録される。
ボックスデータ(box−data)には、ボックスタイプで示される種類のデータが記録される。
moovボックス、
trakボックス、
moofボックス、
trafボックス、
mdatボックス、
上記の各ボックスが設定される。
また、mdatボックスの各々にはmoofボックスが対応付けられており、moofボックスには、moofボックスに対応付けられたmdatボックスに格納した分割実データに関する属性情報、再生制御情報等のメタデータを格納する。
trafボックスには、対応付けられた実データ(mdat)の再生シーケンス情報等が格納される。
moovボックス内には、1つ以上のtrakボックスが設定される。trakボックスは、例えば画像、音声、字幕等のデータ種類別に設定可能であり、各データの再生シーケンス情報等を格納する。
また、MP4ファイルの格納音声データに複数の異なる音声データ、例えば日本語音声、英語音声等が含まれる場合には、これらの音声種類に応じて個別のtrakボックスを設定可能である。
同様に、MP4ファイルの格納字幕データに複数の異なる字幕データ、例えば日本語字幕、英語字幕等が含まれる場合には、これらの字幕種類に応じて個別のtrakボックスを設定可能である。
図4(b)に示すノンフラグメンテッド(非分割型)MP4ファイルには、以下のタイプのボックスが設定される。
moovボックス、
trakボックス、
mdatボックス、
上記の各ボックスが設定される。
moovボックスには、再生対象データである実データ(mdat)に対応して設定されるメタデータ、例えば再生対象実データ(mdat)の属性や再生制御情報を含むメタデータが格納される。
moovボックス内に設定されるtrakボックスには、実データ(mdat)の再生シーケンス情報等が格納される。
MP4フォーマットに関する規格化団体であるDECE(Digital Entertainment Content Ecoststem)は、MP4ベースの新たなファイルフォーマットとしてCFF(Common File Format)を規格化した。このCFFについて、図5を参照して説明する。
moovボックス、
trakボックス、
moofボックス、
trafボックス、
mdatボックス、
上記の各ボックスが設定される。
ただし、CFFでは、各mdatボックスには、1つの種類のデータのみを格納するという制約が設けられている。
すなわち、各mdatボックスには、
(a)画像
(b)音声
(c)字幕
これらのデータのいずれか一種類のデータを格納する。上記(a)〜(c)のデータを混在させて格納してはならないという制約がある。
同様に、異なる音声データ、例えば日本語音声、英語音声等についても個別のmdatボックスに格納し、日本語字幕、英語字幕等についても異なるmdatボックスに格納する。
しかし、図5に示すCFF(Common File Format)では、1つのmdatボックスには、1つの種類のデータのみしか格納してはならないという制約が設けられている。
従ってmdatボックス対応のメタデータ格納領域であるmoofボックスも、画像、音声、字幕いずれか一種類のデータに対応して設定されるメタデータを格納する設定となる。
CFF(Common File Format)では、1つのmdatボックスには画像サンプルのみの集合、あるいは音声サンプルのみの集合、または字幕サンプルのみの集合、いずれか同一種類のデータサンプルの集合が格納されることになる。
CFFファイルに格納することが許容されるデータ形式には、例えば、以下のデータ形式がある。
画像(Video):AVC(MPEG−4AVC)、HEVC(MPEG−4HEVC)、
音声(Audio):MPEG−4−AAC、Dolby、AC−3
字幕(subtitle):SMPTE Timed Text(SMPTE−TT)
例えばBD(Blu−ray(登録商標) Disc)に記録されたMPEG−2TSフォーマットデータ、あるいは、ネットワークや放送波を介して入力するMPEG−2TSフォーマットデータを、MP4フォーマットに変換してフラッシュメモリ等のメディアに記録する処理を行う場合の問題点について説明する。
すなわち、BD等のメディアにMPEG−2TSフォーマットに従って格納されたAVCまたはHEVC符号化画像データを、MP4フォーマットデータに従った符号化データ格納形式に変換してフラッシュメモリ等のメディアに記録する場合の処理例について説明する。
例えば1枚の画像データ(1ピクチャ)に対応する符号化データ、およびその復号処理等に適用するパラメータ等は、複数のNALユニット(Network Abstruction Layer Unit)に格納される。
1枚の画像データ対応のNALユニットのセットをアクセスユニット(AU)と呼ぶ。
すなわち、AVC符号化画像データ、およびHEVC符号化画像データは、図6(A)に示すように、複数のNALユニットによって構成される。
各NALユニットには、画像の符号化データの他、例えば符号化データのシーケンス情報や復号処理に適用するためのパラメータなどが格納される。
各NALユニットに格納されるデータの種類は、NALヘッダのIDによって識別される。
(1)AU delimiter(AUD):アクセスユニット(AU)の開始位置
(2)SPS:シーケンスパラメータ
(3)PPS:ピクチャパラメータ
(4)SEI:各種補助情報
(5)Slice data:符号化画像(ビデオ)データの構成要素
(6)Filler data:サイズ調整用データ
(7)End of **:アクセスユニット(AU)の終点位置
これらのデータが各NALユニットに格納される。
図7(1)はMPEG−2TSフォーマットに従ったNALユニットの格納例であり、バイトストリームフォーマット(byte stream format)と呼ばれる。
図7(2)は、MP4フォーマットに従ったNALユニットの格納例であり、サンプルストラクチャ(sample structure)と呼ばれる。
このスタートコード(SC)は、NALユニットの開始位置を示す識別子であり、特定のビット列(0x000001)によって構成される。
このレングス情報(Length)は、次のNALユニットのデータ長(サイズ)を示すデータであり、各NALユニットのデータ長(サイズ)が格納される。
MP4フォーマットデータの処理を行なう例えば再生装置は、このレングス情報(Length)に基づいて、次の位置からのNALユニットのデータ長を判別して、データ長(サイズ)に従って、NALユニット構成データを抽出することが可能となる。
なお、NALユニットは様々なデータ長に設定可能であり、各NALユニットの長さは異なるものとなる。
具体的には、MPEG−2TSのスタートコード(SC)が、MP4フォーマットでは、レングス情報(Length)に置き換えられている。
従って、MPEG−2TSフォーマットデータをMP4フォーマットデータに変換する場合には、MPEG−2TSのスタートコード(SC)の位置を正確に判別して、MPEG−2TSフォーマットデータからNALユニットを確実に取得してMP4フォーマットデータの構成データとして設定する処理が必要となる。
MPEG−2TSからMP4への変換処理を行なうためには、スタートコード(SC)の位置識別が必要となるため、一旦、アラインドユニット単位の暗号化データの復号を行い、スタートコード(SC)(=0x000001))を確認することが必要となる。
この新しい規格では、MPEG−2TS内のスタートコード(SC)を暗号化対象から除き、MPEG−2TSに含まれるスタートコード(SC)を平文としてMPEG−2TSに記録することを許容するものである。
このサブサンプル暗号化を施したMPEG−2TSの構成例を図8に示す。
図8は、1ピクチャ単位の符号化画像データとメタデータによって構成される1つのアクセスユニット(AU)単位のMPEG−2TSフォーマットデータであり、符号化画像データの領域のみを暗号化したデータ、すなわちサブサンプル暗号化を施したMPEG−2TSの例を示している。
NALユニット内の符号化画像データは暗号化されたデータであるので、データ漏えいの可能性も少なく安全なフォーマット変換および記録処理が可能となる。
この問題点について、図9を参照して説明する。
図9には、以下の2つのアクセスユニット(AU)を示している。
(1)サブサンプル暗号化前のアクセスユニット(AU)対応のMPEG−2TS
(2)サブサンプル暗号化後のアクセスユニット(AU)対応のMPEG−2TS
しかし、暗号化画像データの構成データである暗号化スライスデータ(Encrypted slice data)中にも、スタートコード(SC)と同じビット列(0x000001)が発生してしまう可能性がある。
この暗号化スライスデータ(Encrypted slice data)中のビット列(0x000001)は、何らかの画像構成データの暗号化処理によって偶然、生成されたビット列である。
このような誤認識が発生すると、MP4へのフォーマット変換が正しく実行されず、誤ったMP4フォーマットデータが生成されてしまう。
上述したように、スタートコード(SC)を暗号化しないサブサンプル暗号化を実行した場合でも、スタートコード(SC)以外のデータ領域内、例えば画像の暗号化データ中にスタートコード(SC)と同一のビット列が発生する可能性がある。
図10は、本実施例にかかるMPEG−2TSの構成例を示す図である。
図10(1)には、MPEG−2TSを構成する複数のTSパケットとして、3つのTSパケット(P1〜P3)を示している。
本実施例では、TSパケットのTSペイロードの先頭位置にスタートコード(SC)が設定されているか否かを識別する識別子を、TSパケットヘッダに設定する。
TSパケットヘッダ内に設定されるトランスポートプライオリティ(Transport priority)の値を、TSペイロードの先頭位置にスタートコード(SC)が設定されているか否かに応じて異なる値とする。
(a)TSペイロードの先頭位置にスタートコード(SC)がある場合、トランスポートプライオリティ=1とする。
(b)TSペイロードの先頭位置にスタートコード(SC)がない場合、トランスポートプライオリティ=0とする。
TSパケットヘッダ内に含まれるトランスポートプライオリティ(Transport priority)は、様々な用途に利用可能な領域である。
本実施例では、このトランスポートプライオリティ(Transport priority)を、各TSパケットのTSペイロードの先頭がスタートコード(SC)であるか否かを示すスタートコード(SC)位置識別子を記録する領域とした。
(1)TSパケット(P1)=1(TSペイロードの先頭にSCがある)
(2)TSパケット(P2)=1(TSペイロードの先頭にSCがある)
(3)TSパケット(P3)=0(TSペイロードの先頭にSCがない)
この設定値確認処理の結果、トランスポートプライオリティ(Transport priority)の値が[1]であることが確認された場合は、そのTSパケットのTSペイロードの先頭にスタートコード(SC)があると判断する。
すなわち、そのTSパケットのペイロード先頭はスタートコード(SC)ではなく、ペイロードは先頭からNALユニットの構成データであると判断する。
変換装置は、このペイロード内のNALユニットを取得して、MP4の構成データとして設定する。
この例は、図10(1)に示すTSパケット(P3)に対する処理例に相当する。
変換装置は、MPEG−2TSフォーマットデータを構成する各TSパケットのTSパケットヘッダ内に設定されたトランスポートプライオリティの値を参照して、MP4への変換処理を行なう。
(1)変換前のMPEG−2TSフォーマットデータ
(2)変換後のMP4フォーマットデータ
変換装置は、図11(1)に示すMPEG−2TSフォーマットデータを入力して、フォーマット変換を実行して図11(2)に示すMP4フォーマットデータを生成する。
変換装置は、TSパケット(P2)の処理に際して、TSパケット(P2)のTSパケットヘッダ内に設定されたトランスポートプライオリティの値を参照する。
TSパケット(P2)のトランスポートプライオリティの値は[1]である。
変換装置は、この値に基づいて、TSパケット(P2)のTSペイロードの先頭データがスタートコード(SC)であると判断する。
このデータが、図11(2)MP4フォーマットデータに示すデータ部c〜dの構成データとなる。
TSパケット(P3)のトランスポートプライオリティの値は[0]である。
変換装置は、この値に基づいて、TSパケット(P3)のTSペイロードの先頭データがスタートコード(SC)でないと判断する。
変換装置は、この判断に基づいて、TSパケット(P3)のペイロードを抽出し、抽出データを、図11(2)MP4フォーマットデータのNALユニット構成データとして設定する。
TSパケット(P3)のペイロードは、先行して処理を行なったTSパケット(P2)からの抽出NALユニット構成データを格納した図11(2)MP4フォーマットデータに示すデータ部c〜dの後続位置:d〜eに格納する。
一方、TSパケット(P4)のトランスポートプライオリティの値が0であれば、図11(2)に示すMP4のデータ位置eの後に、さらに、TSパケット(P4)のペイロードが格納されることになる。
このレングス設定処理の具体例については後述する。
各TSパケットのTSパケットヘッダ内のトランスポートプライオリティの値に基づいてスタートコード(SC)の位置を判別する。
この処理によって、確実なNALユニットの抽出処理、およびフォーマット変換処理が可能となり、正しいMP4フォーマットデータを生成することが可能となる。
このPESパケットは、図12(1)に示すように複数のTSパケットによって構成される。
この1つのTSパケット(Pn)の詳細構成例を図12(3)に示す。
これは、AVCまたはHEVC符号化データのES(エレメンタリストリーム)バイトストリームフォーマット(AVC/HEVC ES byte stream format)データに相当する。
この変換処理に際して、図12(4)のESバイトストリームフォーマット内のスタートコード(SC)の位置を正確に検出する必要がある。
従って、例えば図12(4)に示すESバイトストリームフォーマットに含まれる暗号化データ(Encrypted slice data)にスタートコード(SC)と同様のビット列(0x000001)が含まれていても、このビット列をスタートコード(SC)と誤認識することなく、図12(5)に示す正しいMP4フォーマットデータを生成することが可能となる。
先に説明したように、MPEG−2TSフォーマットデータをMP4フォーマットデータに変換する場合、MPEG−2TSフォーマットデータのスタートコード(SC)を、MP4フォーマットデータのレングス情報(L:Length)に置き換えることが必要となる。
従って、変換装置は、MP4フォーマットデータに設定する各NALユニットのサイズを算出または取得する必要がある。
図13(1)は、図12(4)に示したデータと同様のデータである。すなわち、は、MPEG−2TSフォーマットデータを構成するTSパケットからTSペイロードのみを取り出して並べたデータである。
これは、AVCまたはHEVC符号化データのES(エレメンタリストリーム)バイトストリームフォーマット(AVC/HEVC ES byte stream format)データに相当する。
次に、各スタートコードの間のデータをNALユニットとして抽出する。このSC間のデータのデータ長をNALユニットのデータ長(サイズ)として算出する。
この算出値を図13(3)に示すMP4フォーマットデータのレングス情報(L:Length)として設定する。
なお、図13に示すレングス算出処理例は、一例であり、この他の方法を適用してもよい。
例えば、予め各NALユニットのサイズ情報を記録したデータを別に保持する設定として、この記録情報を利用する構成としてもよい。
先に、図3他を参照して説明したように、MPEG−2TSフォーマットのTSパケットは、パケットサイズが188バイトに規定されている。
従って、上述した実施例に従って、スタートコード(SC)を必ず、TSパケットのペイロードの先頭に設定するためにはデータの調整が必要となる。
図14を参照して、この調整処理について説明する。
例えば、図14(1)に示すように、スタートコード(SC)はTSパケットのペイロードの先頭ではない位置に設定される場合がある。
このデータ調整に、TSパケットの構成要素であるアダプテーションフィールド(adaptation field)を用いる。
アダプテーションフィールドはTSパケットの構成データであり、様々なデータ長のダミーデータの格納領域として利用できる。
このアダプテーションフィールドに様々なデータ長のダミーデータを格納して、全てのスタートコード(SC)がTSパケットのペイロードの先頭に位置するようにする。
さらに、TSパケットのTSパケットヘッダのトランスポートプライオリティに、TSペイロード先頭がスタートコード(SC)である場合は、[1]、そうでない場合は[0]を設定する処理を行なう。
上述した実施例1は、MPEG−2TSのTSパケットのTSパケットヘッダ内のトランスポートプライオリティの値をスタートコード(SC)の位置識別子として用いた実施例である。
次に、上記構成とは異なる構成を用いてスタートコード(SC)の位置を識別可能とした実施例2について説明する。
図15(1)に示す「アダプテーションフィールドを利用してSC位置を調整したMPEG−2TS」である。
図に示す例では、TSパケット(P2)がペイロード先頭にスタートコード(SC)を有するTSパケットである。
このTSパケット(P2)の前に追加TSパケット(Padd)を追加する。
この追加TSパケット(Padd)が、スタートコード(SC)位置識別用パケットとなる。
この追加TSパケット(Padd)のTSパケットヘッダ中のPIDフィールドには、特定のプログラムID(PID)を設定する。すなわち、スタートコード(SC)位置識別用パケットであることが判別できるPID、例えば(PID=xxx)を設定する。
次に、上述した実施例に従った処理を実行する装置の構成例について図16以下を参照して説明する。
図16に示す情報処理装置は、第1メディア110に記録されたMPEG−2TSフォーマットデータを変換して生成したMP4フォーマットデータを第2メディア120に記録する変換装置である。
あるいは、通信部103を介して入力したデータをフラッシュメモリ等の第2メディア120に記録する処理を行なう。
情報処理装置100は、第2メディア120に対するデータ記録処理に際して、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行する。
また、入力部102は、メディアに記録する画像や音声等を入力する撮像部、マイクを持つ構成としてもよい。
通信部103は、例えば外部サーバ、あるいは外部機器との通信を行い、メディアに対する記録データや、記録データに関する制御情報、あるいはコピー処理の許可情報の取得など、各種の通信処理に利用される。
具体的には、第2メディア120に対するデータ記録時に第1メディア110から読み出したデータ、あるいは通信部103を介して入力したデータを一時的に格納する領域としても利用される。
記憶部104は、例えばRAM、ROM等によって構成される。
出力部105は、外部装置に対する出力部や、メディアからの再生データの出力部によって構成される。例えば、第2メディア120に対するデータ記録処理の進行状況の表示、ユーザに対するメッセージ表示などに利用され、ディスプレイやスピーカ等を含む。
データ変換部108は、第1メディア110の記録データ、あるいは通信部103を介して入力するデータのフォーマットである第1フォーマットのデータを、データ記録先である第2メディア120に記録する際のデータフォーマットである第2フォーマットに変換するフォーマット変換処理を実行する。
なお、第1フォーマットとは、例えはMPEG−2TSフォーマットデータであり、第2フォーマットは、MP4フォーマットデータである。
なお、第1メディア110、第2メディア120は、上記の組み合わせに限らず、様々な組み合わせがせ可能である。
図17に示すように、データ変換部108は、データ解析部151、画像データ変換部152、音声データ変換部153、字幕データ変換部154、多重化処理実行部155を有する。
画像データ、
音声データ、
字幕データ、
これら3種類のデータに分類する。
音声データ変換部153は、MP4フォーマットの音声データを生成して多重化処理実行部155に出力する。
字幕データ変換部154は、MP4フォーマットの字幕データを生成して多重化処理実行部155に出力する。
(a)画像データ生成部152の生成した第2フォーマット(MP4)形式の画像フォーマットデータ、
(b)音声データ生成部153の生成した第2フォーマット(MP4)形式の音声フォーマットデータ、
(c)字幕データ生成部154の生成した第2フォーマット(MP4)形式の字幕フォーマットデータ、
(d)記憶部104に格納した例えば再生制御情報ファイルから抽出したデータ、
例えば、これらの各データの多重化処理を実行して、第2フォーマット(MP4)形式の記録データを生成する。
具体的には、TSパケットのTSパケットヘッダに設定されたトランスポートプライオリティの値を参照して、各TSパケットのペイロードの先頭がスタートコード(SC)であるか否かを判定する。
さらに、画像データ変換部152は、各スタートコード(SC)に後続するNALユニットを抽出してMP4フォーマットデータの構成データとして設定するとともに、NALユニットのサイズを算出または取得してMP4フォーマットデータのレングス情報(L:Length)として設定する処理を行なう。
検出したSC位置識別用パケットの次のTSパケットのペイロード先頭がSCであると判断して、MP4フォーマットへの変換処理を実行する。
図18に示す情報処理装置は、上述した実施例に対応するMPEG−2TSフォーマットデータを生成する装置である。生成したデータは、第1メディア210に記録される。あるいは出力部205、通信部203を介して外部に出力する。
また、入力部202は、メディアに記録する画像や音声等を入力する撮像部、マイクを持つ構成としてもよい。
通信部203は、例えば外部サーバ、あるいは外部機器との通信を行い、メディアに対する記録データや、記録データに関する制御情報、あるいはコピー処理の許可情報の取得など、各種の通信処理に利用される。
具体的には、第1メディア210に対する記録用データ、あるいは通信部203を介して入力したデータを一時的に格納する領域としても利用される。
記憶部204は、例えばRAM、ROM等によって構成される。
出力部205は、外部装置に対する出力部や、第1メディア210からの再生データの出力部であるディスプレイやスピーカ等によって構成される。
このデータ生成においては、上述した実施例に従ったデータ構成を持つTSパケットを持つMPEG−2TSフォーマットデータを生成する。
この追加TSパケットのPIDは、スタートコード(SC)位置識別用パケットであることを識別可能とした特定のPIDとする。
次に、図19、図20を参照してMPEG−2TSフォーマットから、MP4フォーマットへの変換処理を実行する変換装置の実行する処理シーケンスについて、図19、図20に示すフローチャートを参照して説明する。
データ変換部108は、例えば記憶部に格納されたプログラムに従って、図19、または図20に示すフローに従った処理を実行する。
図20は、先に図15を参照して説明した実施例2に従った処理を行なう場合のフローであり、MPEG−2TS中のTSパケットからPIDの設定等に基づいてSC位置識別用パケットを検出する処理を行なう場合の処理フローである。
(ステップS101)
ステップS101において、変換対象データを含むMPEG−2TSフォーマットデータを入力する。
例えばBD等のメディア、あるいは通信部等を介して入力する。
ステップS102〜S108の処理は、入力したMPEG−2TSフォーマットデータ中の変換対象画像データがなくなるまで繰り返し実行する処理である。
まず、ステップS102において、入力したMPEG−2TSフォーマットデータ中に変換対象となる画像データが存在するか否かを判定する処理を実行する。存在する場合はステップS103に進む。存在しない場合は処理を終了する。
ステップS103では、データ解析部151が、TSパケットのヘッダに設定されたPIDに基づいて画像データ対応のデータを格納したTSパケットのみを選別して画像データ変換部152に出力する。
ステップS104において、画像データ変換部152は、TSパケットのヘッダのトランスポートプライオリティの値が[1]であるか否かを判定する。
[1]である場合は、ステップS105に進み、[0]である場合はステップS106に進む。
ステップS104において、TSパケットのヘッダのトランスポートプライオリティの値が[1]であると判定されると、ステップS105に進む。
ステップS105では、画像データ変換部152が、TSパケットのヘッダのトランスポートプライオリティの値が[1]であると判定されたTSパケットの処理を行なう。
画像データ変換部152は、TSパケットのペイロード先頭がスタートコード(SC)であると判断し、SC後のペイロードデータをNALユニット構成データと判定して、このNALユニットを取得してMP4フォーマットデータの構成データとする変換処理を行なう。
ステップS104において、TSパケットのヘッダのトランスポートプライオリティの値が[0]であると判定されると、ステップS106に進む。
ステップS106では、TSパケットのヘッダのトランスポートプライオリティの値が[0]であると判定されたTSパケットに対する処理を行なう。
画像データ変換部152は、TSパケットのペイロード先頭にはスタートコード(SC)が含まれないと判断し、ペイロードデータをNALユニット構成データと判定して、このNALユニットを取得してMP4フォーマットデータの構成データとする変換処理を行なう。
次の処理は、多重化処理部155の処理であり、ステップS105またはステップS106における画像データの変換データと、その他のデータとの多重化処理を実行する。
ステップS108では、変換処理の終了した画像データを変換対象データから除外する。
まだ、変換対象となる画像データが残っているときは、ステップS102以降の処理を繰り返す。
残存する変換対象データがないと判断した場合は、ステップS109に進む。
ステップS109では、生成したMP4フォーマットデータを出力する。生成したMP4フォーマットデータは、メディアに記録されるあるいは、通信部や出力部を介して外部に出力される。
この処理は、MPEG−2TS中のTSパケットからPIDの設定等に基づいてSC位置識別用パケットを検出する処理を行なう場合の処理である。
ステップS201において、変換対象データを含むMPEG−2TSフォーマットデータを入力する。
例えばメディア、あるいは通信部等を介して入力する。
ステップS202〜S208の処理は、入力したMPEG−2TSフォーマットデータ中の変換対象画像データがなくなるまで繰り返し実行する処理である。
まず、ステップS202において、入力したMPEG−2TSフォーマットデータ中に変換対象となる画像データが存在するか否かを判定する処理を実行する。存在する場合はステップS203に進む。存在しない場合は処理を終了する。
ステップS203では、データ解析部151が、TSパケットのヘッダに設定されたPIDに基づいて画像データ対応のデータを格納したTSパケットのみを選別して画像データ変換部152に出力する。
ステップS204において、画像データ変換部152は、TSパケットのヘッダにスタートコード(SC)位置識別用パケットであることを示すPIDが設定されているか否かを判定する。
設定されている場合は、ステップS205に進み、設定されていない場合はステップS206に進む。
ステップS204において、TSパケットのヘッダにスタートコード(SC)位置識別用パケットであることを示すPIDが設定されていると判定されると、ステップS205に進む。
ステップS205では、画像データ変換部152が、TSパケットのヘッダにスタートコード(SC)位置識別用パケットであることを示すPIDが設定されているパケットの次のTSパケットを取得して取得したTSパケットのペイロード先頭がスタートコード(SC)であると判断する。
さらに、この取得したTSパケットのSC後のペイロードデータをNALユニット構成データと判定して、このNALユニットを取得してMP4フォーマットデータの構成データとする変換処理を行なう。
ステップS204において、TSパケットのヘッダにスタートコード(SC)位置識別用パケットであることを示すPIDが設定されていないと判定すると、ステップS206に進む。
ステップS206では、画像データ変換部152が、TSパケットのヘッダにスタートコード(SC)位置識別用パケットであることを示すPIDが設定されていないパケットの次のTSパケットを取得して取得したTSパケットの処理を行なう。
画像データ変換部152は、この取得したTSパケットのペイロードデータがNALユニット構成データと判定して、このNALユニットを取得してMP4フォーマットデータの構成データとする変換処理を行なう。
次の処理は、多重化処理部155の処理であり、ステップS205またはステップS206における画像データの変換データと、その他のデータとの多重化処理を実行する。
ステップS208では、変換処理の終了した画像データを変換対象データから除外する。
まだ、変換対象となる画像データが残っているときは、ステップS202以下の処理を繰り返す。
残存する変換対象データがないと判断した場合は、ステップS209に進む。
ステップS209では、生成したMP4フォーマットデータを出力するる
生成したMP4フォーマットデータは、メディアに記録されるあるいは、通信部や出力部を介して外部に出力される。
上述した実施例では、MPEG−2TSフォーマットデータ中のスタートコード(SC)の位置をTSパケットのTSパケットヘッダ内のデータ、具体的には、トランスポートプライオリティ、あるいはPIDの設定値に基づいて判断可能な構成とした実施例について説明した。
この他のヘッダ内のデータを用いてMPEG−2TSフォーマットデータ中のスタートコード(SC)の位置を識別可能な構成としてもよい。
例えば、変換装置が、サーバからMPEG−2TSフォーマットデータ中のスタートコード(SC)の位置を記録したマップ情報を、通信部を介して受信して、このマップ情報を利用してスタートコードの位置を判別してフォーマット変換を行う構成も可能である。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記データ変換部は、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別するデータ解析部と、
前記データ解析部において選別されたTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行する画像データ変換部を有する情報処理装置。
抽出したペイロード構成データをMP4フォーマットデータの構成データとして設定する前記(1)または(2)に記載の情報処理装置。
前記データ生成部は、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成する情報生成装置。
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを記録し、
前記情報記録媒体の格納データのフォーマット変換を実行する情報処理装置が、前記TSパケットのヘッダ情報解析によって、スタートコード(SC)の位置を判別し、判別結果に基づくフォーマット変換を行うことを可能とした情報記録媒体。
前記情報処理装置は、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記データ変換部が、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別し、
選別したTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行する情報処理方法。
前記情報処理装置は、MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
前記データ生成部が、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成する情報処理方法。
前記情報処理装置は、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記プログラムは、前記データ変換部に、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別する処理と、
選別したTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択する処理と、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行させるプログラム。
前記情報処理装置は、MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
前記プログラムは、前記データ生成部に、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成させるプログラム。
具体的には、フォーマット変換を実行するデータ変換部は、MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別し、選別されたTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する。データ変換部は、例えばTSパケットのヘッダに設定されたトランスポートプライオリティの値に基づいて、ペイロード先頭領域にスタートコード(SC)が設定されたTSパケットであるか否かを判定する。
本構成により、MPEG−2TSフォーマットからMP4フォーマットへの変換を正しく確実に実行可能とする構成が実現される。
101 制御部
102 入力部
103 通信部
104 記憶部
105 出力部
106 第1メディアインタフェース
107 データバッファ
108 データ変換部
109 第2メディアインタフェース
110 第1メディア
120 第2メディア
151 データ解析部
152 画像データ変換部
153 音声データ変換部
154 字幕データ変換部
155 多重化処理部
200 情報処理装置
201 制御部
202 入力部
203 通信部
204 記憶部
205 出力部
206 第1メディアインタフェース
207 データ生成部
Claims (17)
- MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記データ変換部は、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別するデータ解析部と、
前記データ解析部において選別されたTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行する画像データ変換部を有し、
前記画像データ変換部は、
TSパケットのヘッダに設定されたトランスポートプライオリティの値に基づいて、ペイロード先頭領域にスタートコード(SC)が設定されたTSパケットであるか否かを判定する情報処理装置。 - 前記画像データ変換部は、
ペイロード先頭領域にスタートコード(SC)が設定されたTSパケットについては、スタートコード(SC)に続くペイロード構成データを抽出し、
ペイロード先頭領域にスタートコード(SC)が設定されていないTSパケットについては、ペイロード先頭からのペイロード構成データを抽出し、
抽出したペイロード構成データをMP4フォーマットデータの構成データとして設定する請求項1に記載の情報処理装置。 - 前記MPEG−2TSフォーマットに格納された画像データは、AVC符号化データ、またはHEVC符号化データのいずれかである請求項1に記載の情報処理装置。
- 前記画像データ変換部は、
TSパケットのペイロードのスタートコード(SC)を除くペイロード構成データであるNALユニットを抽出してMP4フォーマットデータの構成データとして設定する処理を実行する請求項1に記載の情報処理装置。 - 前記画像データ変換部は、
TSパケットのペイロードのスタートコード(SC)を除くペイロード構成データであるNALユニットを抽出してMP4フォーマットデータのレングス情報設定部の後続位置に抽出したNALユニットを格納する請求項1に記載の情報処理装置。 - 前記画像データ変換部は、
TSパケットのペイロードのスタートコード(SC)を除くペイロード構成データであるNALユニットを抽出し、スタートコード間のNALユニットのデータ長を算出し、算出したデータ長をMP4フォーマットデータのレングス情報に格納する請求項1に記載の情報処理装置。 - 前記データ変換部は、
前記画像データ変換部の生成した画像データ対応のMP4フォーマットデータと、画像以外のデータのMP4フォーマットデータとの多重化処理を実行する多重化処理実行部を有する請求項1に記載の情報処理装置。 - 前記データ変換部は、
BDMVフォーマットに従って記録されたディスクから読み出したMPEG−2TSフォーマットデータに対する変換処理を実行する請求項1に記載の情報処理装置。 - 前記データ変換部は、
通信部を介して外部から入力するMPEG−2TSフォーマットデータに対する変換処理を実行する請求項1に記載の情報処理装置。 - MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記データ変換部は、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別するデータ解析部と、
前記データ解析部において選別されたTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行する画像データ変換部を有し、
前記画像データ変換部は、
TSパケットのヘッダに設定されたPIDの値に基づいて、次の後続TSパケットがペイロード先頭領域にスタートコード(SC)が設定されたTSパケットであるか否かを判定する情報処理装置。 - MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
前記データ生成部は、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成し、
前記データ生成部は、
TSパケットヘッダのトランスポートプライオリティの値に基づいて、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを判別可能としたTSパケットを生成する情報生成装置。 - 前記データ生成部は、
画像データを格納したTSパケットのペイロード中に格納するスタートコード(SCの位置を全てTSペイロードの先頭に位置するようにデータ調整を実行してTSパケットを生成する請求項11に記載の情報生成装置。 - 前記情報生成装置は、
前記データ生成部の生成したMPEG−2TSフォーマットデータを情報記録媒体に記録する記録部を有する請求項11に記載の情報生成装置。 - 情報処理装置においてデータフォーマット変換を実行する情報処理方法であり、
前記情報処理装置は、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記データ変換部が、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別し、
選別したTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択し、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行し、
前記画像データ変換部は、
TSパケットのヘッダに設定されたトランスポートプライオリティの値に基づいて、ペイロード先頭領域にスタートコード(SC)が設定されたTSパケットであるか否かを判定する情報処理方法。 - 情報処理装置においてデータ生成処理を実行する情報処理方法であり、
前記情報処理装置は、MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
前記データ生成部が、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成し、
前記データ生成部は、
TSパケットヘッダのトランスポートプライオリティの値に基づいて、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを判別可能としたTSパケットを生成する情報処理方法。 - 情報処理装置においてデータフォーマット変換を実行させるプログラムであり、
前記情報処理装置は、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行するデータ変換部を有し、
前記プログラムは、前記データ変換部に、
MPEG−2TSフォーマットデータから画像データ格納TSパケットを選別する処理と、
選別したTSパケットのヘッダ情報に基づいて、スタートコード(SC)をペイロード先頭に含むTSパケットを選択する処理と、
スタートコード(SC)を除くペイロード構成データを抽出してMP4フォーマットデータの構成データとして設定する処理を実行させ、さらに、
前記画像データ変換部に、
TSパケットのヘッダに設定されたトランスポートプライオリティの値に基づいて、ペイロード先頭領域にスタートコード(SC)が設定されたTSパケットであるか否かを判定させるプログラム。 - 情報処理装置においてデータ生成処理を実行させるプログラムであり、
前記情報処理装置は、MPEG−2TSフォーマットデータを生成するデータ生成部を有し、
前記プログラムは、前記データ生成部に、
画像データを格納したTSパケットのヘッダ情報として、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを示すスタートコード位置識別情報を記録したTSパケットを生成させ、さらに、
前記データ生成部に、
TSパケットヘッダのトランスポートプライオリティの値に基づいて、TSペイロードの先頭にスタートコード(SC)を含むパケットであるか否かを判別可能としたTSパケットを生成させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014103141 | 2014-05-19 | ||
JP2014103141 | 2014-05-19 | ||
PCT/JP2015/060854 WO2015178112A1 (ja) | 2014-05-19 | 2015-04-07 | 情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015178112A1 JPWO2015178112A1 (ja) | 2017-04-20 |
JP6500895B2 true JP6500895B2 (ja) | 2019-04-17 |
Family
ID=54553788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016520993A Expired - Fee Related JP6500895B2 (ja) | 2014-05-19 | 2015-04-07 | 情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10535369B2 (ja) |
EP (1) | EP3148181B1 (ja) |
JP (1) | JP6500895B2 (ja) |
WO (1) | WO2015178112A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6540095B2 (ja) * | 2015-02-27 | 2019-07-10 | 日本電気株式会社 | 通信装置、情報処理システム、電文処理方法 |
US9998746B2 (en) * | 2016-02-10 | 2018-06-12 | Amazon Technologies, Inc. | Video decoder memory optimization |
CN111488171B (zh) * | 2019-01-29 | 2023-11-03 | 杭州海康威视数字技术股份有限公司 | 一种数据生成和解析方法、装置及电子设备 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001086481A (ja) * | 1999-07-13 | 2001-03-30 | Matsushita Electric Ind Co Ltd | パケット分離装置、ディジタル信号転送システム、暗号化装置、媒体、および情報集合体 |
JP2001103444A (ja) * | 1999-10-01 | 2001-04-13 | Matsushita Electric Ind Co Ltd | パケット暗号化装置およびプログラム記録媒体 |
US7567584B2 (en) * | 2004-01-15 | 2009-07-28 | Panasonic Corporation | Multiplex scheme conversion apparatus |
JP2005229587A (ja) * | 2004-01-15 | 2005-08-25 | Matsushita Electric Ind Co Ltd | 多重化方式変換装置 |
WO2006079368A1 (en) * | 2005-01-25 | 2006-08-03 | Nero Ag | Method for preparing dvd-video formatted data, method for reconstructing dvd-video data and dvd-video data structure |
JP4882653B2 (ja) | 2006-10-06 | 2012-02-22 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
JP5533162B2 (ja) | 2010-04-08 | 2014-06-25 | ソニー株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
JP2012004986A (ja) | 2010-06-18 | 2012-01-05 | Sony Corp | 撮像装置、画像保存方法及びプログラム |
WO2012067219A1 (ja) | 2010-11-18 | 2012-05-24 | シャープ株式会社 | コンテンツデータ生成装置、コンテンツデータ生成方法、コンピュータプログラムおよび記録媒体 |
JP6492661B2 (ja) | 2012-10-09 | 2019-04-03 | ソニー株式会社 | 画像処理装置および方法 |
JP6467680B2 (ja) | 2014-01-10 | 2019-02-13 | パナソニックIpマネジメント株式会社 | ファイル生成方法およびファイル生成装置 |
-
2015
- 2015-04-07 EP EP15796584.9A patent/EP3148181B1/en active Active
- 2015-04-07 US US15/127,568 patent/US10535369B2/en not_active Expired - Fee Related
- 2015-04-07 JP JP2016520993A patent/JP6500895B2/ja not_active Expired - Fee Related
- 2015-04-07 WO PCT/JP2015/060854 patent/WO2015178112A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP3148181A4 (en) | 2017-12-27 |
EP3148181A1 (en) | 2017-03-29 |
EP3148181B1 (en) | 2020-01-01 |
WO2015178112A1 (ja) | 2015-11-26 |
US20170148483A1 (en) | 2017-05-25 |
US10535369B2 (en) | 2020-01-14 |
JPWO2015178112A1 (ja) | 2017-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105900174B (zh) | 信息处理设备、信息记录介质、信息处理***、信息处理方法及计算机可读存储介质 | |
JP6550055B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
US20180302674A1 (en) | File generating method and file generating apparatus | |
JP6500895B2 (ja) | 情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP6863271B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
US11330226B2 (en) | Information processing apparatus, information recording medium and information processing method | |
US11375151B2 (en) | Information processing apparatus, information recording medium, and information processing method | |
WO2018221292A1 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
WO2018190122A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP2015109131A (ja) | ファイル生成方法、再生方法、ファイル生成装置、再生装置および記録媒体 | |
CN110462735B (zh) | 信息处理设备、信息记录介质、信息处理方法和程序 | |
WO2015083354A1 (ja) | ファイル生成方法、再生方法、ファイル生成装置、再生装置および記録媒体 | |
WO2016002127A1 (en) | Mpeg-2-ts to mp4 format conversion without decryption | |
WO2015186479A1 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP2015153441A (ja) | 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム | |
WO2015072127A1 (ja) | ファイル生成方法およびファイル生成装置 | |
JP2015167059A (ja) | 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP2015153440A (ja) | 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181026 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190117 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190304 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6500895 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |