JP4779921B2 - データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム - Google Patents

データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP4779921B2
JP4779921B2 JP2006273696A JP2006273696A JP4779921B2 JP 4779921 B2 JP4779921 B2 JP 4779921B2 JP 2006273696 A JP2006273696 A JP 2006273696A JP 2006273696 A JP2006273696 A JP 2006273696A JP 4779921 B2 JP4779921 B2 JP 4779921B2
Authority
JP
Japan
Prior art keywords
chapter
stream
file
stream file
play
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006273696A
Other languages
English (en)
Other versions
JP2008092492A (ja
Inventor
森本  直樹
憲一郎 有留
幸雄 磯部
篤 前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006273696A priority Critical patent/JP4779921B2/ja
Priority to PCT/JP2007/069166 priority patent/WO2008044518A1/ja
Priority to US12/443,891 priority patent/US8165455B2/en
Priority to CN2007800412781A priority patent/CN101536504B/zh
Publication of JP2008092492A publication Critical patent/JP2008092492A/ja
Application granted granted Critical
Publication of JP4779921B2 publication Critical patent/JP4779921B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1217Formatting, e.g. arrangement of data block or words on the record carriers on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1217Formatting, e.g. arrangement of data block or words on the record carriers on discs
    • G11B2020/1218Formatting, e.g. arrangement of data block or words on the record carriers on discs wherein the formatting concerns a specific area of the disc
    • G11B2020/1222ECC block, i.e. a block of error correction encoded symbols which includes all parity data needed for decoding
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B2020/1264Formatting, e.g. arrangement of data block or words on the record carriers wherein the formatting concerns a specific kind of data
    • G11B2020/1288Formatting by padding empty spaces with dummy data, e.g. writing zeroes or random data when de-icing optical discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本発明は、データの記録や再生などの処理を行なうデータ処理装置及びデータ処理方法、並びにコンピュータ・プログラムに係り、特に、デジタルビデオカメラで撮影した動画像ストリームの記録や編集といったデータ処理を行なうデータ処理装置及び無線通信方法、並びにコンピュータ・プログラムに関する。
さらに詳しくは、本発明は、所定の規格フォーマットに従って管理情報を付随させながら記録メディア上に記録された動画像ストリームの編集処理を行なうデータ処理装置及びデータ処理方法、並びにコンピュータ・プログラムに係り、特に、所定の規格フォーマットに従いながら、記録用途で撮影したコンテンツの分割編集を行なうデータ処理装置及びデータ処理方法、並びにコンピュータ・プログラムに関する。
DVD(Digital Versatile Disk)やCD(Compact Disk)といった光学的読み取りを応用したディスク型記録メディア(以下では、「光ディスク」と呼ぶ)が、コンピュータ・ファイルや動画像ストリームの保存用途として、急速に普及してきている。光ディスクは、記憶容量が大きく、ランダム・アクセスが可能である。
光ディスクを用いた記録再生装置は、例えばコンピュータ用の外部記録メディア並びに外部記憶装置として既に幅広く利用されている。最近では、ディスク型記録メディアの記録容量の増大に伴って、従来の録画テープに代わってディスクに動画像を保存するタイプのビデオカメラが出現してきている(例えば、特許文献1を参照のこと)。
ディスク型記録メディアはランダム・アクセスが可能であるから、好きなシーンを効率的に見つけ出すことができるとともに、データへのアクセスは非接触であるから記録メディアを劣化させることなく利用することができる。例えば、DVDビデオカメラは、2000年の発売以来、画質の良さや編集ができるなどの使い勝手の良さから年々ユーザが拡大してきている。
例えば、AVCHD規格では、既存のディスク・フォーマット規格の内容を適宜継承しながら、記録互換、追記互換機能を追加して、高解像度(High Definition:HD)ビデオカメラ用のデータ・フォーマットなどに関する仕様の策定を行なっている。AVCHD規格は、圧縮率の高いMPEG−4 AVC/H.264方式を採用し、HD画像を低容量・低速度の記録メディアへ記録可能にすることを主な目的としている。DVDディスクへの記録を想定しているが、AVCHD規格フォーマットに従ってメモリカードやHDDなどの多様な記録メディアへの記録も可能である(例えば、非特許文献1並びに非特許文献2を参照のこと)。
AVCHD規格では、動画像ストリーム・ファイル形式として既にMPEG(Moving Picture Experts Group)−2 Systemが決定している。但し、ストリーム・ファイル単体として記録メディア上に保存されるだけでなく、動画像ファイルを再生したり編集したりするための複数の管理情報ファイルを付随して保存するという、複合的なファイル構成を備えている。すなわち、MPEG2−TSストリームに符号化した動画像コンテンツは、連続同期再生すなわち実時間再生が保証された再生が必要な単位となるデータのまとまりが1つのクリップ(Clip)すなわちクリップAVストリーム(ClipAVStream)ファイルとして記録される。また、クリップAVストリーム・ファイルを記録メディアに記録する際に、再生リスト(PlayList)ファイル並びにクリップ情報(ClipInformation)ファイルという各種別の管理情報ファイルが付随して記録される。
クリップ情報ファイルは、クリップAVストリーム・ファイルと対で存在し、実際のストリームを再生する上で必要となるストリームに関する情報が記載されたファイルである。また、再生リストは、クリップに対する再生開始点(IN点)及び再生終了点(OUT点)からなる再生区間を記述した再生項目(PlayItem)を登録して、複数の再生項目を時系列的に配置することで動画像データの再生区間及び再生順序を指定することができる。また、再生リストには、ユーザがストリームにアクセスするエントリ位置となる再生リスト・マーク(EntryMark)を打つことができ、隣接するエントリ・マーク間で区切られる区間がユーザから見える最小の編集単位すなわち「チャプタ」となる。そして、クリップ情報や再生リストといった管理情報ファイルを用いることによって、好適に録画編集機能を実現することができる。
また、AVCHD規格では、再生リストの属性として、実体のコンテンツ(すなわちクリップAVストリーム)を所有する実再生リスト(Real PlayList)の他に、実体のコンテンツを所有しない仮想再生リスト(Virtual PlayList)が定義されている。実再生リストの編集は、実体のコンテンツの編集、すなわち記録メディア上の部品自体の変化を伴う破壊編集となる。これに対し、仮想再生リストの編集は、クリップAVファイルに対する再生開始点と再生終了点の付け替えだけを行なうものであり、実体のコンテンツ自体を変化させない非破壊編集が可能である。
非破壊編集は、ユーザから見える再生リスト上で参照する部品の位置を並べ替えや削除など、管理情報ファイルの操作によって容易に行なうことができるとともに、記録メディア上のストリーム・データの原形を保つことができる。一方、記録用途では、撮影したコンテンツの分割編集を行なえる方が、ユーザの利便性が高い場合がある。すなわち、再生リスト内で所望のエントリ位置に再生リスト・マークを挿入して新しいチャプタを設けるだけでなく、チャプタ境界においてストリーム・ファイルを分割してチャプタとストリーム・ファイルが1対1の対応関係を保つようにすれば、バックアップなどコンテンツの管理が容易になる。
ここで、MPEGに代表される動画像ストリームの符号化方式では、何枚かの画面を1まとまりにしたGOP(Group of Picture)構造が採用されている。GOP内ではフレーム内符号化したI/IDRピクチャ、フレーム間順方向予測符号化したPピクチャ、双方向予測符号化したBピクチャというタイプの異なる画面が所定の規則で配列されており、動画像ストリームは、GOP単位でランダム・アクセスが可能である。このような場合、GOP境界の位置でしかストリームを分割することができないから、指定された分割点がGOP境界と一致しない場合には、その分割方法が問題となる。
例えば、分割したファイルの後半部分のファイル先頭(クラスタ境界)から最初のGOP境界までの開いた部分をパディング・パケットとするが、ファイルの分割の際に配置されるパディング部を1つあるいは複数のプライベート・ストリーム・パケットにより構成し、同パケット内に分割の際に配置されるパディング部の情報を配置し、所定のタイミングでパディング部内の情報に基づいて、パディング部を効率的に削除することで、記録メディア内の容量を有効に活用するファイル分割結合方法について提案がなされている(例えば、特許文献2を参照のこと)。
また、MPEG−2トランスポート・ストリームを分割処理したときに分割位置近傍においてオーディオ・データが不完全になることを勘案して、分割位置より前方のストリームには、分割位置を跨ぐオーディオ・フレーム・データが完全に構成されるようにビデオ情報TSパケットを映像信号も音声信号のいずれも持たないダミー・データに置換したTSパケットを追加し、分割位置以降のストリームには、分割位置のビデオ情報の再生タイミングと一致するオーディオ情報パケットデータが現れるまで、オーディオ情報をダミー・データに置換したTSパケットを上書きするようにしたストリーム編集方法について提案がなされている(例えば、特許文献3を参照のこと)。このような編集方法によれば、分割後に生成された2つのストリームを復号再生した時にユーザに違和感を与えるような異音の発生あるいは無音状態を生じる可能性のある音声データを除去することができる。
また、GOPを構成する映像信号データの境界で分割編集したとき、分割された映像信号データ内に復号単位のデータ構造を満たさない音声信号データのトランスポート・パケットが存在する場合に、このトランスポート・パケットを、映像情報及び音声情報を持たないトランスポート・パケットで置き換えて前記記録媒体に上書き記録する映像・音声信号編集方法について提案がなされている(例えば、特許文献4を参照のこと)。
ところが、ファイルシステムや記録メディアの物理種別毎に設けられた管理サイズの制約がある場合には、ストリームのGOP境界の位置であっても分割することができない。例えば、DVD系の記録メディアでは、2Kバイトを1セクタとするとともに、16セクタすなわち32KバイトからなるECC(Error Collection Code)ブロックをアクセス・ブロックすなわちファイルシステムの管理単位としており(図13を参照のこと)、ECCブロックを分割することはできない。
また、上述したAVCHD規格では、ストリーム・ファイル長には6Kバイトの倍数になることという長さアライメント制約が設けられており(図14を参照のこと)、ストリームをGOP境界で分割しただけではこの制約を遵守することができない場合がある。
なお、記録時のストリームがAVCの非closed GOPである場合は、仮にGOP境界でストリームを分割しても、後続の先頭のI又はIDRピクチャより手前のフレームを復号できず、再生することができない。また、closed GOPであっても、非GOP境界で分割したい場合には同様の問題がある。
特開2004−120364号公報 特開2005−286366号公報 特開2005−117556号公報 特開2004−336128号公報 http://www.avchd−info.org/ http://support.d−imaging.sony.co.jp/www/handycam/products/benri/avchd/index.html
本発明の目的は、所定の記録メディア上にデジタルビデオカメラで撮影した動画像ストリームの記録や編集といったデータ処理を好適に行なうことができる、優れたデータ処理装置及び無線通信方法、並びにコンピュータ・プログラムを提供することにある。
本発明のさらなる目的は、所定の規格フォーマットに従って管理情報を付随させながら記録された動画像ストリームの編集処理を好適に行なうことができる、優れたデータ処理装置及び無線通信方法、並びにコンピュータ・プログラムを提供することにある。
本発明のさらなる目的は、所定の規格フォーマットに従いながら、記録用途で撮影した動画像ストリーム・ファイルの分割編集を行なうことができる、優れたデータ処理装置及び無線通信方法、並びにコンピュータ・プログラムを提供することにある。
本発明のさらなる目的は、GOP構造が採用された動画像ストリーム・ファイルを、所定の規格フォーマットに従いながら任意の分割点においてファイル分割することができる、優れたデータ処理装置及び無線通信方法、並びにコンピュータ・プログラムを提供することにある。
本発明は、上記課題を参酌してなされたものであり、その第1の側面は、所定の規格フォーマットに従って記録メディア上に記録されているストリーム・ファイルの編集処理を行なうデータ処理装置であって、前記ストリーム・ファイルを任意の分割点において先行チャプタと後続チャプタに分割する際に、
前記分割点を含むGOP近辺のデータ(例えば、前記分割点を含むGOPとその直後のGOP)からなる前記後続チャプタの第1エクステントを前記記録メディア上にコピーする第1の手段と、
前記分割点以降で最初に現れるGOP境界において前記長さアライメント制約に応じたパディングを施して前記先行チャプタのストリーム・ファイルを作成する第2の手段と、
前記のコピーした区間の手前若しくはコピーした以降のGOPからなる前記後続チャプタの第1エクステントの先頭のパディングを施した位置から、若しくは第2エクステントの終端の領域を前記長さアライメント制約に応じてパディングし、前記第1及び第2エクステントからなる前記後続チャプタのストリーム・ファイルを作成する第3の手段と、
を具備することを特徴とするデータ処理装置である。
高解像度の映像信号を低容量・低速度の記録メディアへ記録可能にすることを主な目的として、AVCHD規格が策定されている。AVCHD規格フォーマットに従って、DVDディスクを始めメモリカードやHDDなどの多様な記録メディアへの記録が可能である。
AVCHD規格では、動画像ストリーム・ファイル形式として既にMPEG(−2 Systemが決定しているが、ストリーム・ファイル単体として記録メディア上に保存されるだけでなく、動画像ファイルを再生したり編集したりするための複数の管理情報ファイルを付随して保存するという、複合的なファイル構成を備えている。また、AVCHD規格では、再生リストの属性として、実体のコンテンツを所有する実再生リストの他に、実体のコンテンツを所有しない仮想再生リストが定義されている。仮想再生リストを用いてクリップAVファイルに対する再生開始点と再生終了点の付け替えだけを行なうことにより非破壊編集が可能である。
非破壊編集は管理情報ファイルの操作によって容易に行なうことができる。但し、記録用途では、撮影したコンテンツの分割編集を行なえる方が、ユーザの利便性が高い場合がある。例えば、ストリーム・ファイルを分割して、ユーザから見える最小の編集単位である「チャプタ」とストリーム・ファイルが1対1の対応関係を保つようにすれば、バックアップなどコンテンツの管理が容易になる。
ところが、MPEGに代表される動画像ストリームの符号化方式では、何枚かの画面を1まとまりにしたGOP構造が採用されており、指定された分割点がGOP境界と一致しない場合には、その分割方法が問題となる。また、ファイルシステムや記録メディアの物理種別毎に設けられたECCブロックなどの管理サイズの制約がある場合には、ストリームのGOP境界の位置であっても分割することができない。また、AVCHD規格では、ストリーム・ファイル長には6Kバイトの倍数になることという長さアライメント制約が設けられており、ストリームをGOP境界で分割しただけではこの制約を遵守することができない可能性がある。
そこで、本発明に係るデータ処理装置では、GOP境界には限定されない任意の分割点においてストリーム・ファイルを先行チャプタと後続チャプタとに分割する際、分割点を含むGOPの終端の領域に対して長さアライメント制約に応じてパディングを施すことによって先行チャプタを作成するようにした。パディングとは、ストリームの復号時に不具合にならないように無効なパケット相当に記録メディアに上塗りを行なう処理のことである。
また、分割点を含むGOPとその直後のGOPをコピーして後続チャプタの第1エクステントを作成するとともに、コピーした以降のGOPからなる領域を後続チャプタの第2エクステントとし、この第2エクステントの終端の領域に長さアライメント制約に応じてパディングを施すようにしている。この結果、第1及び第2エクステントからなる後続チャプタは、ファイルシステムの管理サイズの制約、及びAVCHD規格で取り決められている長さアライメント制約のいずれも満たすことができる。
例えば、再生リストにユーザのエントリ位置として挿入された再生リスト・マークにおいてストリーム・ファイルを分割することによって、ユーザから見える最小の編集単位である「チャプタ」とストリーム・ファイルが1対1の対応関係を保つことができる。
そして、前記第2の手段は、前記先行チャプタに関する再生項目の再生終了時刻に前記分割点の時刻を指定して前記分割点以降を非表示区間とする。同様に、前記第3の手段は、前記後続チャプタに関する再生項目の再生開始時刻に前記分割点の時刻を指定して前記第1エクステントの前記分割点以前を非表示区間とする。これによって、分割点を含むGOPとその直後のGOPをコピーして第1エクステントを作成したことに伴う先行チャプタとの重複再生を回避することができる。
また、前記第2の手段は前記先行チャプタのファイル長を前記のパディングを施した位置までとするとともに、前記第3の手段は前記後続チャプタのファイル長を前記第1エクステントの先頭のパディングを施した位置から、若しくは前記第2エクステントにパディングを施した位置までとすることで、パディング位置以降をファイルとして不使用の領域にする。
また、本発明に係るデータ処理装置は、先行若しくは後続チャプタのストリーム・ファイルのファイル名を修正するファイル名修正手段をさらに備えている。
また、AVCHD規格では、実体のコンテンツを所有する実再生リストの他に、実体のコンテンツを所有しない仮想再生リストが定義されているが、ファイル名修正手段による後続チャプタのストリーム・ファイルのファイル名の修正に伴って、後続チャプタを再生区間として指定する仮想再生リスト中の再生項目が指すストリーム・ファイル名を修正する処理を行なう必要がある。
また、本発明の第2の側面は、所定の規格フォーマットに従って記録メディア上に記録されているストリーム・ファイルの編集処理を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
前記ストリーム・ファイルは所定の枚数の画像フレームを1まとまりにしたGOP(Group of Picture)構造をなし、前記記録メディア上では所定長のアクセス・ブロック単位でデータ記録が行なわれ、前記規格フォーマットではファイルに関して長さアライメント制約を設けられており、
前記ストリーム・ファイルを任意の分割点において先行チャプタと後続チャプタに分割する際に、前記コンピュータに対し、
前記分割点を含むGOP近辺のデータからなる前記後続チャプタの第1エクステントを前記記録メディア上にコピーする手順と、
前記分割点以降で最初に現れるGOP境界において前記長さアライメント制約に応じたパディングを施して前記先行チャプタのストリーム・ファイルを作成する手順と、
前記のコピーした区間の手前若しくはコピーした以降のGOPからなる前記後続チャプタの第1エクステントの先頭のパディングを施した位置から、若しくは第2エクステントの終端の領域を前記長さアライメント制約に応じてパディングし、前記第1及び第2エクステントからなる前記後続チャプタのストリーム・ファイルを作成する手順と、
を実行させることを特徴とするコンピュータ・プログラムである。
本発明の第2の側面に係るコンピュータ・プログラムは、コンピュータ2上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第2の側面に係るコンピュータ・プログラムをコンピュータ2にインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第2の側面に係るデータ処理装置と同様の作用効果を得ることができる。
本発明によれば、所定の規格フォーマットに従いながら、記録用途で撮影した動画像ストリーム・ファイルの分割編集を行なうことができる、優れたデータ処理装置及び無線通信方法、並びにコンピュータ・プログラムを提供することができる。
また、本発明によれば、GOP構造が採用された動画像ストリーム・ファイルを、所定の規格フォーマットに従いながら任意の分割点においてファイル分割することができる、優れたデータ処理装置及び無線通信方法、並びにコンピュータ・プログラムを提供することができる。
本発明によれば、例えばAVCHD規格フォーマットに従ってDVDなどの記録メディアに記録されているストリーム・ファイルを、ストリーム・ファイルに付随する再生リスト・ファイルの分割に伴って好適にファイル分割することができる。これによって、チャプタとストリーム・ファイルの1対1の対応関係を保つことができ、バックアップなどコンテンツの管理を容易に行なうことができるようになる。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
以下、図面を参照しながら本発明の実施形態について詳解する。
図1には、本発明を適用したデータ処理装置の内部構成を模式的に示している。図示の通り、データ処理装置はデジタルビデオカメラ1として構成されており、AVCHD規格に準拠し、カメラ・ブロック11で撮影した動画像ストリームを符号化復号処理部12でMPEG2−TSストリームに符号化して、これを記録部14によって機器内蔵の記録メディア15に記録するようになっている。
中央処理部16は、RAM(Random Access Memory)などで構成される一時記憶媒体17に実行プログラムをロードするとともにシステム変数や環境変数を一時的に格納しながらプログラムを実行するという形式で、当該デジタルビデオカメラ1全体の処理動作を統括的にコントロールする。
ここで言う中央処理部16における処理動作としては、カメラ・ブロック11における動画像撮影やこれに伴うオート・フォーカス機能、自動露光、手振れ補正、オート・シャッターといったカメラ・ワークや、記録部14における記録メディア15の記録領域のフォーマット処理、記録メディア15のマウント処理、記録領域への動画像ストリームの記録及び再生、並びに記録メディア15上に記録された動画像ストリームの編集処理、USBスレーブすなわちマスストレージ・デバイスとしての動作処理(但し、USB接続されている場合)などである。記録メディア15上の動画像ストリームの編集処理には、ユーザから見える再生リスト上で参照する部品の位置を並べ替えや削除などの操作をだけで記録メディア上のストリーム・データは編集しない非破壊編集と、記録メディア上での部品自体の変化を伴う破壊編集がある。本実施形態では、ユーザの利便性を考慮して、破壊編集の1つとして、記録用途で撮影したコンテンツ(ストリーム・ファイル)の分割編集も実現しているが、その処理の詳細については後述に譲る。
カメラ・ブロック11は、被写体像を取り込むレンズ、入力光量に応じて光電変換により電気的な画像信号を生成するCCD(ChargeCoupled Device)やCMOS(Complementary Mental−Oxide Semiconductor)などの固体撮像素子、画像信号をデジタル変換するA/D変換器、デジタル画像信号からRGB信号を算出するデモザイク処理部など(図示を省略)で構成される。このRGB画像は、表示制御部18を介してディスプレイ19から表示出力される。
符号化復号処理部12は、動画像ストリームの符号化及び復号処理を行なう。具体的には、カメラ・ブロック11から入力される動画像ストリームをMPEG2−TS方式で符号化して、固定バイト長のTSパケットからなるAVストリームを出力する。TSパケットは、ストリーム・バッファ13に一旦格納された後、記録部14に転送する。記録部14はストリーム・バッファ13を介してTSパケットを特定の時間間隔で受信すると、これを記録メディア15の記録領域上に記録する。また、符号化復号処理部12は、記録部14が記録メディア15から読み出した動画像ストリームを復号して、表示制御部18を介してディスプレイ19から再生画面を出力する。
なお、符号化復号処理部12の復号モジュールには、GOPの整数倍で画像データが入力される。但し、再生項目の再生開始時刻や再生終了時刻がGOP未満の区間を指しているときには、画像データの復号処理は行われるが出力されない(すなわち、ミュートや前画面ホールドになる)区間、すなわち「非表示区間」(後述)となる。
記録部14は、ファイルやその他の管理データの記録メディア15への記録を行なう。また、記録部14は、AVCHD規格に準じたフォーマットで動画像ストリームの記録を行ない、録画編集機能を実現することができる。ここで言う記録メディア15は、例えばDVDなどの可搬型メディアやハード・ディスクなどの固定型メディアなどが挙げられるが、AVCHD規格フォーマットに従う以外は、特に記録メディア15の物理種別は限定されない。
表示制御部18は、ディスプレイ19の駆動制御を行なう。ディスプレイ19からは、中央処理部16からの指示に従って、当該デジタルビデオカメラ1用の操作画面(タッチパネル)を提供したり、カメラ・ブロック11で捕捉している映像を表示出力したり、符号化復号処理部12によって復号された動画像ストリームの再生出力を行なったりする。
なお、USBインターフェース18からUSBケーブル(図示しない)を介してUSBマスタ(例えば、パーソナル・コンピュータ(図示しない)など)に接続されているときには、記録部14及び記録メディア15は、USBスレーブすなわちUSBマスタに外付け接続されたマスストレージ・デバイスとして動作する。USB接続されている間は、デジタルビデオカメラとしての機能は停止する。
AVCHD規格は、高解像度の映像信号を低容量・低速度の記録メディアへ記録可能にすることを主な目的としたビデオカメラの規格であり、既存のディスク・フォーマット規格の内容を適宜継承しながら、記録互換、追記互換機能を追加して、HDビデオカメラ用のデータ・フォーマットなどに関する仕様を策定している。具体的には、ビデオカメラで撮影した動画像コンテンツをMPEG2−TSストリーム(ClipAVStream)に符号化して記録する際に、再生リスト(PlayList)やクリップ情報(ClipInformation)という各種別の付随するファイルを用いることで、好適に録画編集機能を実現することができる。
図2には、AVCHD規格で規定されている記録メディア15のディレクトリ構成を示している。BDMVディレクトリの直下に配置されている“PLAYLIST”、“CLIPINF”、“STREAM”は、それぞれ再生リスト、クリップ情報ファイル、クリップAVストリーム・ファイルを格納するためのサブディレクトリである。
動画像データは、連続同期再生、すなわち実時間再生が保証された再生が必要な単位となるデータのまとまりが1つのクリップ(Clip)すなわちクリップAVストリーム・ファイルを構成し、1つの動画像ファイルとして記録される。クリップAVストリームは、MPEG2−TS形式で動画像ストリームが格納されているファイルである。また、クリップ情報ファイルは、クリップAVストリーム・ファイルと対で存在し、実際の動画像ストリームを再生する上で必要となる動画像ストリームに関する情報が記載されたファイルである。そして、再生リストは、複数の再生項目(PlayItem)からなる。各再生項目は、クリップに対してそれぞれ再生開始点(IN点)及び再生終了点(OUT点)を指定しており、再生リスト内では再生項目の時間軸上の系列によって動画像データの再生区間及び再生順序を指定するようになっている。
図3には、録画編集が可能な形式でユーザ・データをAVCHD規格フォーマットにより記録メディア15上に記録するための論理的なデータ構造の一例を示している。図示のように、デジタルビデオカメラ1で撮影した動画像データをMPEG2−TSストリームに符号化して記録する際に、インデックス(Index)、動画像オブジェクト(MovieObject)、再生リスト(PlayList)、クリップ情報(ClipInformation)、クリップAVストリーム(ClipAVStream)という各種別のファイルが用いられる。
インデックス(index.bdmv)のファイル種別レイヤで記録メディア15上の記憶領域全体が管理されている。ユーザに見せるタイトル毎にインデックス・ファイルが作成され、動画像オブジェクトとの対応関係を管理している。ここで言う「タイトル(Title)」とは、(ユーザが認識できる)再生リスト(PlayList)の集合体であり、一般的には1つの番組や日付毎のコンテンツからなる。AVCHD規格フォーマットでは、本来は動画像オブジェクト・ファイルで管理すべき再生リストの再生順をインデックス・ファイルのメタデータ内で管理している。記録メディアをプレーヤに装填した際にはまずインデックスが読み込まれ、ユーザはインデックスに記述されたタイトルを見ることができる。
動画像オブジェクトは、再生制御を行なうためのコマンドの集合体であり、例えば既存のROM規格フォーマットではタイトルが指定されたときに再生される再生リストを管理しているファイルである。動画像オブジェクトへの参照は、タイトルの入り口としてインデックスに列挙されている。但し、AVCHD規格フォーマットでは、動画像オブジェクト・ファイルを参照せずに、インデックス・ファイルのメタデータによって再生リストとタイトルの関係を管理するようになっている。
再生リストは、ユーザに見せるタイトルに対応して設けられ、1以上の再生項目(PlayItem)で構成される。各再生項目は、クリップに対する再生開始点(IN点)と再生終了点(OUT点)を持つことで、その再生区間を指定している。そして、再生リスト内では、複数の再生項目を時間軸上に並べることで、動画像ストリームのそれぞれの再生区間の再生順序を指定することができる。また、異なるクリップAVストリーム・ファイルで再生区間を指定する再生項目を1つの再生リストに含めることができる。
クリップと再生リスト間の参照関係は、自由に設定することができる。例えば、1つのクリップに対する参照を、IN点及びOUT点の異なる2つの再生リストから行なうことができる。さらに、タイトルと動画像オブジェクト間での参照関係も自由に設定することができる。再生リストは、クリップとの参照関係に応じて、実再生リスト(RealPlayList)と仮想再生リスト(VirtualPlayList)の2種類に大別される。
実再生リストは、オリジナル・タイトル用の再生リスト(コンテンツの実体を所有する再生リスト)であり、ビデオカメラにより録画・撮影した動画像ストリームについての再生項目を記録した順に配置している。
仮想再生リストは、非破壊編集によりユーザ定義の再生リストを作成するための再生リストであり、仮想再生リスト独自のクリップ(AVストリーム)を持たず、同再生リスト内の再生項目はいずれかの実再生リストに登録されているクリップ又はその一部の範囲を指している。すなわち、ユーザは複数のクリップから必要な再生区間のみを切り出して、これらを指す各再生項目を取りまとめて(コピーして)仮想再生リストを編集することができる。
クリップは、連続同期再生すなわち実時間再生が保証された再生が必要な単位となるデータのまとまりとして記録された動画像データのファイルであり、クリップAVストリーム・ファイル(Clip AV Stream)とクリップ情報ファイル(Clip Information)からなる。
コンテンツ・データとしてのクリップAVストリーム・ファイルは、MPEG2−TS形式で記録メディア15に記録された動画像ストリームが格納されているファイルである。AVCHD規格フォーマットでは、動画像ストリームはこのファイル内に格納される。
クリップ情報ファイルは、クリップAVストリーム・ファイルと対で存在し、実際の動画像ストリームを再生する上で必要となる、動画像ストリームに関する属性を定義するファイルである。具体的には、動画像ストリームの符号化方法、動画像ストリームのサイズ、再生時間→アドレス変換、再生管理情報などを定義する情報がクリップ情報ファイルに含まれる。
続いて、デジタルビデオカメラ1による撮影操作に従ってAVストリームのクリップとともに再生リストが生成される手順について、図4A〜図4Dを参照しながら説明する。
図示のように、ユーザが録画開始してから録画停止する区間毎に再生項目が1つずつ作成される。例えば、最初に録画開始されてから録画停止されるまでの区間は、通し番号0を持つ再生項目(PlayItem#0)として動画像の再生リスト(Movie PlayList)に登録される。さらに、次に録画開始されてから録画停止されるまでの区間は、通し番号1を持つ再生項目(PlayItem#1)として動画像の再生リスト(Movie PlayList)に登録される(以下同様)。
実再生リストは実体のコンテンツすなわちクリップAVストリームとは1対1に対応しており、実再生リストに登録されている個々の再生項目は、クリップAVストリームのそれぞれ該当する再生区間の再生開始点と再生終了点の時刻情報を保持している。また、MPEG2−TSを始め動画像ストリームでは、内部バッファのアンダーフローやオーバーフローなどの所定のバッファ・モデルが破綻しないように符号化することによって、ストリームをまたいで連続再生する「シームレス再生」が可能である。各再生項目(但し、再生リストの先頭の再生項目を除く)は、直前の再生項目との接続条件(すなわちシームレス再生が可能か否か)を保持している。
また、ユーザが録画を開始する度に、再生項目の先頭には、エントリ・マーク(EntryMark)としてのMarkが付け加えられる(再生リスト内のエントリ・マークは「再生リスト・マーク(PLM)」の一種である)。再生リスト中には1以上の再生リスト・マークが存在し、それぞれクリップAVストリームの特定の再生位置を指し示す役割を持つ。1つの再生リスト内では、各再生リスト・マークに対し、時間軸に沿って連続的となる通し番号が付与されている。また、再生リストに登録される各再生リスト・マークは、当該マークが付与されている再生項目の通し番号と、クリップAVストリームの再生位置を示すタイムスタンプ情報を保持している。
そして、録画・撮影したストリームの区切りで1つのクリップAVストリーム・ファイルとなる。1つのクリップAVストリームは連続同期再生すなわち実時間再生が保証された再生が必要な単位となる。また、これに伴って、ストリームの符号化方法、動画像ストリームのサイズ、再生時間→アドレス変換、再生管理情報などを定義するクリップ情報ファイルが作成される。
なお、動画像再生リスト(MoviePlayList)の先頭には必ず再生リスト・マークが打たれるという規定があるが、以後の編集操作により時間軸上で再生リスト・マークの位置を移動させたり、新規の再生リスト・マークを挿入したりすることができる。
各再生リスト・マークは、ユーザがストリームにアクセスするエントリ位置となる。したがって、隣接するエントリ・マーク間で区切られる区間(並びに最後の再生リスト・マークから最後尾の再生項目の終端の区間)がユーザから見える最小の編集単位すなわち「チャプタ」となる。再生項目を再生順に並べることと、再生リスト・マークを所望の再生順に並べることで、再生リストに登録されているクリップAVストリームの各区間の再生順序が定義される。
実際の商品仕様では、複数の実再生リストをまとめて一続きのチャプタ群としてユーザに提示する。例えば、デジタルビデオカメラの編集画面上では、チャプタを定義する各再生リスト・マーク位置の静止画フレームのサムネイル(若しくは再生リスト・マーク位置を再生開始点としたサムネイル動画)を一覧表示して、チャプタ単位での編集環境をユーザに提供する。
上述したように、AVCHD規格では、再生リストの属性として、実体のコンテンツ(すなわちクリップAVストリーム)を所有する実再生リスト(Real PlayList)の他に、実体のコンテンツを所有しない仮想再生リスト(Virtual PlayList)が定義されている。仮想再生リストの編集は、クリップAVファイルに対する再生開始点と再生終了点の付け替えだけを行なうものであり、実体のコンテンツ自体を変化させない非破壊編集が可能である。
このような分割編集は非破壊編集であり、管理情報ファイルの操作によって容易に行なうことができる。ユーザの利便性を考慮すると、仮想再生リストの操作による非破壊編集だけではなく、記録用途で撮影したコンテンツの分割編集などの破壊編集を行なえることが望ましい。
AVCHD規格では、所望の分割点をエントリ位置に持つ再生リスト・マークを再生リスト(実再生リスト及び仮想再生リストの双方を含む)に追加することで、チャプタを分割することができる。これに対し、実再生リストに再生リスト・マークを挿入するだけでなく、その挿入位置においてストリーム・ファイルの分割を行なうと、ユーザから見える最小の編集単位である「チャプタ」とストリーム・ファイルが1対1の対応関係を保つようにすれば、ファイルの管理(バックアップや記録メディアに分割など)が容易になるのという利点がある。
ここで、図5に示すAVCHD規格に従ったファイル構造を例にとって、再生リスト・マークの挿入によりストリーム・ファイルの分割を行なう手順について説明する。上述したように、クリップAVストリームにはクリップ情報ファイルが対で存在するとともに、クリップAVストリームは動画像の再生リスト(以下では単に「再生リスト」とする)に登録されている。同図中の再生リストはクリップを所有する実再生リストであるとする。
MoviePlayList#10は、Clip#20内の再生区間を指定する再生項目としてPlayItem#0並びにPlayItem#1を登録するとともにClip#31の一部の再生区間を指定する再生項目PlayItem#2を登録している。そして、PlayItem#0の先頭位置と、PlayItem#1の先頭位置並びに中間位置、並びにPlayItem#2の中間位置に再生リスト・マークPLM#0、PLM#1、PLM#2、PLM#3がそれぞれ挿入されている。
また、後続のMoviePlayList#11は、Clip#31内の再生区間を指定する再生項目としてPlayItem#0並びにPlayItem#1を登録している。そして、PlayItem#0の先頭位置と、PlayItem#1の先頭位置並びに中間位置に、再生リスト・マークPLM#0、PLM#1、PLM#2がそれぞれ挿入されている。
図5に示す再生リストは、クリップAVストリーム・ファイルの実体を所有する実再生リストである。再生リストに対する操作はクリップAVストリーム及びクリップ情報の変更を伴う破壊編集である。
ここで、図6に示すように、再生項目PlayItem#2の中間の位置に、再生リスト・マークPLM#3が挿入され、ストリーム・ファイルの分割位置が指定されたとする。
この場合、図7に示すように、再生項目PlayItem#2を再生リスト・マークPLM#3の位置で分割するとともに、再生リスト・マークPLM#3が示すエントリ位置でクリップ#31も分割する。これによって、新たな再生項目PlayItem#3が再生リスト10内に作成される。そして、再生項目PlayItem#2の再生終了点を再生リスト・マーク#3のタイムスタンプ位置に書き換える。また、新規の再生項目PlayItem#3の再生開始点に再生リスト・マーク#3のタイムスタンプ位置を書き込むとともに、その再生終了点には元の再生項目PlayItem#2の再生終了点を書き込む。
また、クリップ#31は、再生リスト・マーク#3の挿入場所に該当する時刻において分割され、元のファイル名などを継承する先行のクリップ#31と、後続するクリップ#32にファイル分割される。
このように、再生リスト・マークの挿入により再生リスト・ファイルの分割処理を行なうことによって、チャプタとストリーム・ファイルの1対1の対応関係を保つことができ、バックアップなどコンテンツの管理を容易に行なうことができるようになる。
ところが、MPEGに代表される動画像ストリームの符号化方式ではGOP構造が採用されており、指定された分割点がGOP境界と一致しない場合には、その分割方法が問題となる。また、ファイルシステムや記録メディアの物理種別毎に設けられたECCブロックなどの管理サイズの制約がある場合には、ストリームのGOP境界の位置であっても分割することができない。また、AVCHD規格では、ストリーム・ファイル長には6Kバイトの倍数になることという長さアライメント制約が設けられており、ストリームをGOP境界で分割しただけではこの制約を遵守することができない可能性がある。
そこで、本実施形態では、GOP境界には限定されない任意の分割点においてストリーム・ファイルを先行チャプタと後続チャプタとに分割する際、分割点を含むGOPの終端の領域に対して長さアライメント制約に応じてパディングを施すことによって、分割点より手前の先行チャプタを作成する。また、分割点を含むGOPとその直前のGOPをコピーして後続チャプタの第1エクステントを作成するとともに、コピーした以降のGOPからなる領域を後続チャプタの第2エクステントとし、この第2エクステントの終端の領域に長さアライメント制約に応じてパディングを施すようにしている。この結果、第1及び第2エクステントからなる後続チャプタは、ファイルシステムの管理サイズの制約、及びAVCHD規格で取り決められている長さアライメント制約のいずれも満たすことができる。なお、パディング(padding)とは、ストリームの復号時に不具合にならないように、無効なパケット(“null packet”とも呼ぶ)相当に記録メディアに上塗りを行なう処理のことである。
図8Aには、ストリーム・ファイルを分割する様子を図解している。同図では、GOP#1〜GOP#3からなるストリームのチャプタ#1を、図中の▼で示される分割点において分割する例を示している。分割点は、例えば、ディスプレイ19上で表示される操作画面を通して、ユーザが動画像ストリームの再生区間の任意の位置に指定することができる。但し、分割点は、ストリーム・ファイルに直接指定されるのではなく、分割したい再生時刻を指す再生リスト・マークを再生リストに挿入することで分割点が指定される。再生リスト内では、再生リスト・マーク位置にて再生項目(若しくはチャプタ)が分割される。
記録メディアの記録領域を管理するファイルシステムはECCブロックをアクセス・ブロック単位としており、ECCブロックに相当する例えば32Kバイトが管理サイズの制約となる。ファイル分割の対象となっているチャプタ#1は、ECC#0〜ECC#6からなるストリーム・ファイルに対応付けられている。
ここで、チャプタ#1を管理する再生項目には、ストリーム・ファイルのファイル長として、ECC#6の終端までではなく、GOP#3の終端までの長さが記載される。したがって、GOP#3の終端からECC#6の終端までは、余剰となるデータ部分であり、ストリーム・ファイルとして不使用の領域(参照記号A)、すなわちストリームの再生対象外である。記録メディアのうちストリーム・ファイルとして不使用の領域は、いずれのチャプタにも含まれない(以下同様)。
チャプタ#1は、指定された分割点を境に先行チャプタとしての(分割後の)チャプタ#1と、これに続く後続チャプタとしてのチャプタ#2に分割される。先行チャプタは分割前のチャプタ#1からファイル名などをそのまま継承する。一方、後続チャプタ#2は、分割により生成される新規のチャプタであり、新たなファイル名などが付与される。
図示の例では、分割点の位置はいずれのGOP境界とも一致しておらず、GOP#1の中間位置に設定されている。そこで、まず、指定された分割点以降の最初のGOP境界まで、すなわちGOP#0〜GOP#1をファイル分割後の先行チャプタ#1とする。そして、分割点を含むGOP#1とその直後のGOP#2を記録メディアの別の領域にコピーして、ファイル分割後の後続チャプタ#2の第1エクステントを作成する。また、第1エクステントへコピーした最後のGOP境界に続くGOP#3以降の領域を、後続チャプタ#2の第2エクステントとする。すなわち、後続チャプタ#2は、第1エクステントと第2エクステントで構成される。
ここで、元のストリーム・ファイルに対応する再生リストには、後続チャプタ#2の先頭時刻をエントリ位置に指定する再生リスト・マークが挿入される。このとき、先行チャプタ#1を管理する再生項目の再生終了時刻(OUT点)は分割点の時刻に書き換えられるので、先行チャプタ#1用のストリーム・ファイルのうち分割点から終端までの区間は非表示区間(参照記号G)となる。したがって、先行チャプタ#1と後続チャプタ#2に分割されたストリーム・ファイルの再生を続けて行なう場合、先行チャプタ#1の分割点以降は非表示となり、後続チャプタ#2を第1エクステントの先頭から再生を開始しても、表示映像の重複はない。
また、後続チャプタ#2の先頭時刻に再生リスト・マークが挿入される際には、後続チャプタ#2を管理する再生項目の再生開始時刻(IN点)は分割点の時刻に書き換えられるので、GOP#1とその直後のGOP#2をコピーして作成された第1エクステントでは、コピーしたGOP#1の先頭から分割点までが非表示区間(参照記号H)となる。したがって、後続チャプタ#2の分割点より以前の区間は非表示となるので、先行チャプタ#1を再生した直後から後続チャプタ#2の再生を開始しても、表示映像の重複はない。
なお、記録メディアの非表示区間にも画像データは含まれている。符号化復号部12には復号モジュールにはGOPの整数倍で入力されるが、上述したように再生開始時刻や再生終了時刻がGOP未満の区間を指している場合は復号モジュールでは復号されるが復号結果が出力されないことにより、非表示となる区間である。
後続チャプタ#2の第1エクステントは、ファイルシステムの管理サイズ制約から、ECC#1〜ECC#4からなるが、GOP#2の終端からECC#4の終端までの余剰部分(参照記号B)は、ストリーム・ファイルとして不使用の領域となり、ストリームの再生対象外となる。記録メディアのうちストリーム・ファイルとして不使用の領域は、いずれのチャプタにも含まれない。
AVCHD規格では、ストリーム・ファイルの長さに関して6Kバイトの倍数になることという長さアライメント制約が規定されている(前述)。そこで、この長さアライメント制約を満たすように、先行チャプタとしての分割後のチャプタ#1の終端部分(GOP#とGOP#2とのGOP境界)(参照記号C)ではパディングが施される。この結果、先行チャプタ#1は、ファイルシステムの管理サイズの制約、及びAVCHD規格で取り決められている長さアライメント制約のいずれも満たすことができる。
そして、先行チャプタ#1のファイル長をこのパディング位置までに修正することで、パディングした以降から後続チャプタ#2の第2エクステントの開始位置(GOP#3の始端とのGOP境界)までの領域(参照番号E)は、ストリーム・ファイルとし不使用の領域となり、ストリームの再生対象外となる。記録メディアのうちストリーム・ファイルとして不使用の領域は、いずれのチャプタにも含まれない。
同様に、後続チャプタ#2の第2エクステントの終端の領域(GOP#3の終端のGOP境界以降)(参照記号D)にも、AVCHD規格で規定する長さアライメント制約に応じてパディングが施される。この結果、第1及び第2エクステントからなる後続チャプタ#2は、ファイルシステムの管理サイズの制約、及びAVCHD規格で取り決められている長さアライメント制約のいずれも満たすことができる。
また、パディングが施された後の第2エクステントは、ファイルシステムの管理サイズ制約から、ECC#5〜ECC#7からなるが、後続チャプタ#2のファイル長をこのパディング位置までに修正することで、最後のECC#7のうちパディング領域(参照記号D)以降の余剰部分は、ストリーム・ファイルとし不使用の領域(参照記号F)となり、ストリームの再生対象外となる。記録メディアのうちストリーム・ファイルとして不使用の領域は、いずれのチャプタにも含まれない。
なお、図8Aに示したように後続チャプタ#2の第2エクステントの終端の領域にパディングを施すのではなく、図8Bに示すように、第1エクステントの先端にパディング(参照記号D´)を施すことによっても、後続チャプタ#2は、ファイルシステムの管理サイズの制約、及びAVCHD規格で取り決められている長さアライメント制約のいずれも満たすことができる。
上述したように、再生リストにユーザのエントリ位置として挿入された再生リスト・マークにおいて、元のストリーム・ファイルが先行チャプタ#1用のストリーム・ファイルと後続チャプタ#2用のストリーム・ファイルに分割されるので、ユーザから見える最小の編集単位である「チャプタ」とストリーム・ファイルが1対1の対応関係を保つことができる。
図9には、実再生リストに再生リスト・マークを新規追加したことに伴って、チャプタ境界でストリーム・ファイルを先行チャプタと後続チャプタに分割するための処理手順をフローチャートの形式で示している。
まず、実再生リストの分割点を時刻で分割し、後続チャプタ用の先頭時刻に再生リスト・マークを挿入するとともに、クリップのファイル名変更に応じて、当該再生リストから参照するクリップ名を修正する(ステップS1)。また、後続チャプタのファイル名を、未使用の名前から選んで修正する。
次いで、ストリーム・ファイルの分割点を含むGOPとその次のGOPを、後続チャプタの第1エクステントとして記録メディア上の別の記録領域にコピーする(ステップS2)。但し、この処理は、指定された分割点がGOP境界であり、且つ、closed GOPである場合には、分割点直後の1つのGOPのみコピーすればよいことになる。また、上記の条件に加えて、分割点がストリーム・ファイルの長さアライメント制約を満たし、且つ、分割点が記録メディアのファイルシステムのアクセス・ブロック境界にも一致するときには、処理が不要になる。
後続チャプタ用の先頭時刻に再生リスト・マークを挿入することに伴って、先行チャプタを管理する再生項目の再生終了時刻(OUT点)は分割点に書き換えられ、分割点から先行チャプタ用のストリーム・ファイルの終端までの区間は、非表示区間となる。また、後続チャプタを管理する再生項目の再生開始時刻(IN点)には分割点に書き換えられ、第1エクステントの先頭から分割点までの区間は、非表示区間となる。
次いで、分割点を含むGOPの終端の領域に、ストリーム・ファイルの長さアライメント制約に応じた分だけパディングを施す(ステップS3)。
次いで、先行チャプタのファイル長さを上記のステップS3でパディングを施した位置まで修正する(ステップS4)。パディングした以降から後続チャプタ第2エクステントの開始位置までの領域は、ストリーム・ファイルとし不使用の領域となる。
ステップS2で別領域にコピーした領域を後続チャプタの第1エクステント(先頭エクステント)とし、第1エクステントにコピーした直後以降の領域をこれに続く第2エクステント(後続エクステント)とする(ステップS5)。
次いで、後続チャプタの終端以降に対し、後続チャプタとしてのファイルシステムの長さアライメント制約に応じてパディングを施す(ステップS6)。
次いで、後続チャプタのファイル長さを上記のステップS6でパディングを施した位置まで修正する(ステップS7)。パディング領域以降の余剰部分は、ストリーム・ファイルとし不使用の領域となる。
ステップS5では、後続チャプタのストリーム・ファイルのファイル名を修正した。このような後続チャプタのストリーム・ファイルのファイル名の修正に伴って、後続チャプタを再生区間として指定する仮想再生リスト中の再生項目が指すストリーム・ファイル名を修正する処理を行なう必要がある。そこで、ステップS8では、すべての仮想再生リストにおいて、名前を修正した後続チャプタ(ストリーム・ファイル)を指している再生項目を修正する。
図10には、ステップS8において実施される、ストリーム・ファイルの分割に伴う仮想再生リストの修正処理の処理手順をフローチャートの形式で示している。
まず、先頭の再生リストを用意し(ステップS11)、再生項目の通し番号に相当する変数iを初期値0に設定する(ステップS12)。
ここで、i番目の再生項目が指すクリップ名がストリーム・ファイルの分割に伴って変更されたクリップに該当するかどうかをチェックする(ステップS13)。
i番目の再生項目が指すクリップ名がストリーム・ファイルの分割に伴って変更されたクリップに該当する場合には(ステップS13のYes)、続いて、分割点が再生項目の境界と一致するかどうかをチェックする(ステップS16)。分割点が再生項目の境界と一致しなければ、この分割点で再生項目の分割処理を行なう(再生項目の分割処理については、後述に譲る)(ステップS18)。そして、ストリーム・ファイル名の変更に応じて、当該再生項目の参照クリップ名を修正する(ステップS17)。
i番目の再生項目が指すクリップ名がストリーム・ファイルの分割に伴って変更されたクリップに該当しない場合(ステップS13のNo)、又は、ステップS16で再生項目の参照クリップ名を修正し終えると、当該再生リストに未処理の再生項目が残っている場合には(ステップS14)、iを増分してからステップS13に復帰し(ステップS19)、次の再生項目について上述と同様の処理を繰り返し実行する。
また、当該再生リストですべての再生項目について処理を終えると(ステップS14のYes)、未処理の再生リストが残っているときには(ステップS15のNo)、次の再生リストを用意してステップS12に復帰し(ステップS20)、上述と同様の処理を繰り返す。
最後に、上述したステップS1やステップS18などで実行される、再生リストの分割処理の方法について説明しておく。
図11には、再生リストを分割する様子を示している。図示の例では、仮想再生リストとしてのMoviePlayList#10は、Clip#20内の再生区間を指定する再生項目としてPlayItem#0並びにPlayItem#1を登録するとともにClip#31の一部の再生区間を指定する再生項目PlayItem#2を登録している。そして、PlayItem#0の先頭位置と、PlayItem#1の先頭位置並びに中間位置、並びにPlayItem#2の中間位置に再生リスト・マークPLM#0、PLM#1、PLM#2、PLM#3がそれぞれ打たれている。
また、後続のMoviePlayList#11は、Clip#31内の再生区間を指定する再生項目としてPlayItem#0並びにPlayItem#1を登録している。そして、PlayItem#0の先頭位置と、PlayItem#1の先頭位置並びに中間位置に、再生リスト・マークPLM#0、PLM#1、PLM#2がそれぞれ打たれている。
ここで、再生項目PlayItem#2に再生リスト・マークPLM#3を挿入して、その挿入位置で分割すると、新たな再生項目PlayItem#3が作成される。そして、再生項目PlayItem#2の再生終了点を再生リスト・マーク#3のタイムスタンプ位置に書き換える。また、新規の再生項目PlayItem#3の再生開始点に再生リスト・マーク#3のタイムスタンプ位置を書き込むとともに、その再生終了点には元の再生項目PlayItem#2の再生終了点を書き込む。また、新規の再生項目PlayItem#3は直前の再生リストPlayItem#2の接続条件として、シームレス再生を解除する。
図12には、再生リスト内の再生項目を分割するための処理手順をフローチャートの形式で示している。但し、ここでは、再生項目PlayItem#Mを再生リスト・マークPLM#Nの位置で分割するものとする。
まず、コピーしようとしているチャプタに対応する再生項目PlayItem#Mを、コピー元のチャプタとして指定された再生リスト・マークPLM#Nが保持している再生項目の通し番号(ref_to_Playitem_id)より特定する(ステップS31)。
そして、分割に先立ち、該当する再生項目PlayItem#Mを含む再生リストが保持する再生項目数(number_of_PlayItemを1だけ増加しておく(ステップS32)。
次いで、再生項目PlayItem#Mのデータを一旦コピーして、このコピーした再生項目をコピー元の直近後方の再生項目すなわちPlayItem#M+1として配置する(ステップS33)。
次いで、元の再生項目PlayItem#Mの再生終了位置(OUT_time)、並びにコピーした再生項目PlayItem#M+1の再生開始位置(IN_time)をともに、分割した位置すなわち再生リスト・マークPLM#Nが保持するタイムスタンプ情報(mark_time_stamp)に修正する(ステップS34)。
但し、ステップS1において、実再生リストの再生項目を分割する場合であって、分割点がGOP境界に一致しない、あるいは分割点がファイルシステムの管理ブロック単位やAVCHD規格で規定する長さアライメント制約に一致せず、第1エクステントをコピーする必要のある場合には、先行チャプタを管理する再生項目の再生終了時刻(OUT_time)は分割点に書き換えられるとともに、後続チャプタを管理する再生項目の再生開始時刻(IN_time)には分割点に書き換えられる。
次いで、分割位置である再生リスト・マークPLM#N以降の各再生リスト・マークPLMにおいて、再生項目の通し番号(ref_to_PlayItem_idの値をそれぞれ1だけ増加する(ステップS35)。
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本発明の適用範囲は、AVCHD規格に限定されるものではない。コンテンツ・データに付随させて管理情報ファイルを記録メディアに記録するためのさまざまな規格フォーマットに従って記録メディア上に記録されたコンテンツの編集を行なうデータ処理装置に対して、同様に本発明を適用することができる。
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
図1は、本発明を適用したデジタルビデオカメラ1の内部構成を模式的に示した図である。 図2は、AVCHD規格で規定されている記録メディア15のディレクトリ構成を示した図である。 図3は、録画編集が可能な形式でユーザ・データをAVCHD規格フォーマットにより記録メディア15上に記録するための論理的なデータ構造の一例を示した図である。 図4Aは、デジタルビデオカメラによる録画・撮影に従って動画像ストリームのクリップとともに再生リストが生成される手順を説明するための図である。 図4Bは、デジタルビデオカメラによる録画・撮影に従って動画像ストリームのクリップとともに再生リストが生成される手順を説明するための図である。 図4Cは、デジタルビデオカメラによる録画・撮影に従って動画像ストリームのクリップとともに再生リストが生成される手順を説明するための図である。 図4Dは、デジタルビデオカメラによる録画・撮影に従って動画像ストリームのクリップとともに再生リストが生成される手順を説明するための図である。 図5は、AVCHDにおけるファイル構造例を示した図である。 図6は、再生項目PlayItem#2に再生リスト・マークPLM#3を挿入する様子を示した図である。 図7は、再生項目PlayItem#2に再生リスト・マークPLM#3を挿入することに伴って、再生項目PlayItem#2並びにこれに対応するClip#31を分割する様子を示した図である。 図8Aは、ストリーム・ファイルを分割する様子を示した図である(但し、分割後の後続チャプタの終端にパディングを施す場合)。 図8Bは、ストリーム・ファイルを分割する様子を示した図である(但し、分割後の後続チャプタの先頭にパディングを施す場合)。 図9は、実再生リストに再生リスト・マークを新規追加したことに伴って、チャプタ境界でストリーム・ファイルを先行チャプタと後続チャプタに分割するための処理手順を示したフローチャートである。 図10は、ストリーム・ファイルの分割に伴う仮想再生リストの修正処理の処理手順を示したフローチャートである。 図11は、再生リストを分割する様子を示した図である。 図12は、再生リスト内の再生項目を分割するための処理手順を示したフローチャートである。 図13は、DVD系の記録メディアにおけるファイルシステム管理単位を説明するための図である。 図14は、AVCHD規格におけるストリーム・ファイルの構造を示した図である。
符号の説明
1…デジタルビデオカメラ
11…カメラ・ブロック
12…符号化復号処理部
13…ストリーム・バッファ
14…記録部
15…記録メディア
16…CPU
17…一時記憶媒体
18…表示制御部
19…ディスプレイ

Claims (11)

  1. 所定の規格フォーマットに従って記録メディア上に記録されているストリーム・ファイルの編集処理を行なうデータ処理装置であって、
    前記ストリーム・ファイルは所定の枚数の画像フレームを1まとまりにしたGOP(Group of Picture)構造をなし、前記記録メディア上では所定長のアクセス・ブロック単位でデータ記録が行なわれ、前記規格フォーマットではファイルに関して長さアライメント制約を設けられており、
    前記ストリーム・ファイルを任意の分割点において先行チャプタと後続チャプタに分割する際に、
    前記分割点を含むGOP近辺のデータからなる前記後続チャプタの第1エクステントを前記記録メディア上にコピーする第1の手段と、
    前記分割点以降で最初に現れるGOP境界において前記長さアライメント制約に応じたパディングを施して前記先行チャプタのストリーム・ファイルを作成する第2の手段と、
    前記のコピーした区間の手前若しくはコピーした以降のGOPからなる前記後続チャプタの第1エクステントの先頭のパディングを施した位置から、若しくは第2エクステントの終端の領域を前記長さアライメント制約に応じてパディングし、前記第1及び第2エクステントからなる前記後続チャプタのストリーム・ファイルを作成する第3の手段と、
    を具備することを特徴とするデータ処理装置。
  2. 前記記録メディアには、ストリーム・ファイルの実体を所有して、前記ストリーム・ファイル中の再生区間に関するデータを記述した1以上の再生項目を再生順序に従って時間軸上に配置した実再生リストが記録されており、
    前記第2の手段は、前記先行チャプタに関する再生項目の再生終了時刻に前記分割点の時刻を指定して前記分割点以降を非表示区間とするとともに、前記第3の手段は、前記後続チャプタに関する再生項目の再生開始時刻に前記分割点の時刻を指定して前記第1エクステントの前記分割点以前を非表示区間とする、
    ことを特徴とする請求項1に記載のデータ処理装置。
  3. 前記第2の手段は前記先行チャプタのファイル長を前記のパディングを施した位置までとするとともに、前記第3の手段は前記後続チャプタのファイル長を前記第1エクステントの先頭のパディングを施した位置から、若しくは前記第2エクステントにパディングを施した位置までとする、
    ことを特徴とする請求項1に記載のデータ処理装置。
  4. 前記先行又は後続チャプタのストリーム・ファイルのファイル名を修正するファイル名修正手段をさらに備える、
    ことを特徴とする請求項1に記載のデータ処理装置。
  5. 前記記録メディアには、前記ストリーム・ファイルの実体を所有して、前記ストリームの再生区間を指定する実再生リストが記録されるとともに、実再生リストに実体が所有されているストリームの再生区間を指定する仮想再生リストを作成することができ、実再生リスト及び仮想再生リストは前記ストリーム・ファイル中の再生区間に関するデータを記述した1以上の再生項目を再生順序に従って時間軸上に配置しており、
    前記ファイル名修正手段による前記後続チャプタのストリーム・ファイルのファイル名の修正に伴って、前記後続チャプタを再生区間として指定する仮想再生リスト中の再生項目が指すストリーム・ファイル名を修正する手段をさらに備える、
    ことを特徴とする請求項1に記載のデータ処理装置。
  6. 所定の規格フォーマットに従って記録メディア上に記録されているストリーム・ファイルの編集処理を行なうデータ処理方法であって、
    前記ストリーム・ファイルは所定の枚数の画像フレームを1まとまりにしたGOP(Group of Picture)構造をなし、前記記録メディア上では所定長のアクセス・ブロック単位でデータ記録が行なわれ、前記規格フォーマットではファイルに関して長さアライメント制約を設けられており、
    前記ストリーム・ファイルを任意の分割点において先行チャプタと後続チャプタに分割する際に、
    前記分割点を含むGOP近辺のデータからなる前記後続チャプタの第1エクステントを前記記録メディア上にコピーする第1のステップと、
    前記分割点以降で最初に現れるGOP境界において前記長さアライメント制約に応じたパディングを施して前記先行チャプタのストリーム・ファイルを作成する第2のステップと、
    前記のコピーした区間の手前若しくはコピーした以降のGOPからなる前記後続チャプタの第1エクステントの先頭のパディングを施した位置から、若しくは第2エクステントの終端の領域を前記長さアライメント制約に応じてパディングし、前記第1及び第2エクステントからなる前記後続チャプタのストリーム・ファイルを作成する第3のステップと、
    を具備することを特徴とするデータ処理方法。
  7. 前記記録メディアには、ストリーム・ファイルの実体を所有して、前記ストリーム・ファイル中の再生区間に関するデータを記述した1以上の再生項目を再生順序に従って時間軸上に配置した実再生リストが記録されており、
    前記第2のステップでは、前記先行チャプタに関する再生項目の再生終了時刻に前記分割点の時刻を指定して前記分割点以降を非表示区間とするとともに、前記第3のステップでは、前記後続チャプタに関する再生項目の再生開始時刻に前記分割点の時刻を指定して前記第1エクステントの前記分割点以前を非表示区間とする、
    ことを特徴とする請求項6に記載のデータ処理方法。
  8. 前記第2のステップでは前記先行チャプタのファイル長を前記のパディングを施した位置までとするとともに、前記第3のステップでは前記後続チャプタのファイル長を前記第1エクステントの先頭のパディングを施した位置から、若しくは前記第2エクステントにパディングを施した位置までとする、
    ことを特徴とする請求項6に記載のデータ処理方法。
  9. 前記先行又は後続チャプタのストリーム・ファイルのファイル名を修正するファイル名修正ステップをさらに備える、
    ことを特徴とする請求項6に記載のデータ処理方法。
  10. 前記記録メディアには、ストリーム・ファイルの実体を所有して、ストリームの再生区間を指定する実再生リストが記録されるとともに、実再生リストに実体が所有されているストリームの再生区間を指定する仮想再生リストを作成することができ、実再生リスト及び仮想再生リストはストリーム中の再生開始点及び再生終了点からなる再生区間に関するデータを記述した1以上の再生項目を再生順序に従って再生時刻に関する時間軸上に配置しており、
    前記ファイル名修正ステップによる前記後続チャプタのストリーム・ファイルのファイル名の修正に伴って、前記後続チャプタを再生区間として指定する仮想再生リスト中の再生項目が指すストリーム・ファイル名を修正するステップをさらに備える、
    ことを特徴とする請求項9に記載のデータ処理方法。
  11. 所定の規格フォーマットに従って記録メディア上に記録されているストリーム・ファイルの編集処理を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
    前記ストリーム・ファイルは所定の枚数の画像フレームを1まとまりにしたGOP(Group of Picture)構造をなし、前記記録メディア上では所定長のアクセス・ブロック単位でデータ記録が行なわれ、前記規格フォーマットではファイルに関して長さアライメント制約を設けられており、
    前記ストリーム・ファイルを任意の分割点において先行チャプタと後続チャプタに分割する際に、前記コンピュータに対し、
    前記分割点を含むGOP近辺のデータからなる前記後続チャプタの第1エクステントを前記記録メディア上にコピーする手順と、
    前記分割点以降で最初に現れるGOP境界において前記長さアライメント制約に応じたパディングを施して前記先行チャプタのストリーム・ファイルを作成する手順と、
    パディングを施して前記先行チャプタのストリーム・ファイルを作成する手順と、
    前記のコピーした区間の手前若しくはコピーした以降のGOPからなる前記後続チャプタの第1エクステントの先頭のパディングを施した位置から、若しくは第2エクステントの終端の領域を前記長さアライメント制約に応じてパディングし、前記第1及び第2エクステントからなる前記後続チャプタのストリーム・ファイルを作成する手順と、
    を実行させることを特徴とするコンピュータ・プログラム。
JP2006273696A 2006-10-05 2006-10-05 データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム Expired - Fee Related JP4779921B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006273696A JP4779921B2 (ja) 2006-10-05 2006-10-05 データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム
PCT/JP2007/069166 WO2008044518A1 (fr) 2006-10-05 2007-10-01 Dispositif de traitement de données, procédé de traitement de données et programme informatique
US12/443,891 US8165455B2 (en) 2006-10-05 2007-10-01 Data processing apparatus and data processing method, and computer program
CN2007800412781A CN101536504B (zh) 2006-10-05 2007-10-01 数据处理装置、数据处理方法和计算机程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006273696A JP4779921B2 (ja) 2006-10-05 2006-10-05 データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2008092492A JP2008092492A (ja) 2008-04-17
JP4779921B2 true JP4779921B2 (ja) 2011-09-28

Family

ID=39282727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006273696A Expired - Fee Related JP4779921B2 (ja) 2006-10-05 2006-10-05 データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム

Country Status (4)

Country Link
US (1) US8165455B2 (ja)
JP (1) JP4779921B2 (ja)
CN (1) CN101536504B (ja)
WO (1) WO2008044518A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009272921A (ja) * 2008-05-08 2009-11-19 Panasonic Corp 動画像記録装置、動画像再生装置、動画像記録方法、動画像再生方法および半導体集積回路
JP4720873B2 (ja) * 2008-08-11 2011-07-13 ソニー株式会社 情報記録装置、撮像装置、情報記録方法およびプログラム
JP5381459B2 (ja) 2009-07-27 2014-01-08 富士通株式会社 動画像編集装置、動画像編集方法及び動画像編集用コンピュータプログラム
JP5537290B2 (ja) * 2010-06-30 2014-07-02 日立コンシューマエレクトロニクス株式会社 記録装置/方法/媒体、再生装置/方法
JP2012243337A (ja) * 2011-05-17 2012-12-10 Sony Corp 再生装置、ストリームファイルの再生方法、及びプログラム
EP2803185A1 (en) * 2012-01-09 2014-11-19 Thomson Licensing Managing time-shift data
US9219929B2 (en) * 2012-02-27 2015-12-22 Fritz Barnes Enhanced startup and channel change for fragmented media stream delivery
JP6410483B2 (ja) * 2013-08-09 2018-10-24 キヤノン株式会社 画像処理装置
JP6545439B2 (ja) * 2014-06-10 2019-07-17 Nttテクノクロス株式会社 操作記録装置、操作記録再生システム、及びプログラム
WO2017154563A1 (ja) * 2016-03-07 2017-09-14 ソニー株式会社 符号化装置および符号化方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1126454A4 (en) * 1999-07-07 2004-11-24 Matsushita Electric Ind Co Ltd AUDIOVISUAL PRINT RECORDING DEVICE AND METHOD, DISK RECORDED BY THIS DEVICE AND METHOD, AUDIOVISUAL DATA REPRODUCTION DEVICE AND METHOD THEREFOR
JP4328989B2 (ja) * 1999-11-24 2009-09-09 ソニー株式会社 再生装置、再生方法、並びに記録媒体
JP3976979B2 (ja) * 2000-02-21 2007-09-19 シャープ株式会社 画像編集装置
US8285111B2 (en) * 2002-04-19 2012-10-09 Tivo Inc. Method and apparatus for creating an enhanced photo digital video disc
JP2004336128A (ja) * 2003-04-30 2004-11-25 Canon Inc 映像・音声信号編集方法
JP2005286366A (ja) * 2004-03-26 2005-10-13 Matsushita Electric Ind Co Ltd ファイル分割結合方法、並びに装置
EP1768402A1 (en) * 2005-02-18 2007-03-28 Matsushita Electric Industrial Co., Ltd. Data processor
JP4715633B2 (ja) * 2006-05-19 2011-07-06 ソニー株式会社 記録装置、記録方法および記録プログラム、ならびに、編集装置、編集方法および編集プログラム
JP2008010110A (ja) * 2006-06-30 2008-01-17 Sony Corp ファイル分割装置、ファイル分割方法及びファイル分割プログラム
JP2008072312A (ja) * 2006-09-13 2008-03-27 Sony Corp データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム

Also Published As

Publication number Publication date
US8165455B2 (en) 2012-04-24
US20100034508A1 (en) 2010-02-11
CN101536504A (zh) 2009-09-16
WO2008044518A1 (fr) 2008-04-17
JP2008092492A (ja) 2008-04-17
CN101536504B (zh) 2010-12-22

Similar Documents

Publication Publication Date Title
JP4779921B2 (ja) データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム
KR101342345B1 (ko) 정보 처리 장치 및 정보 처리 방법과 저장 매체
TWI335761B (ja)
JP5135733B2 (ja) 情報記録装置及び情報記録方法、並びにコンピュータ・プログラム
US20090047002A1 (en) Data processing apparatus and data processing method, and computer program
EP2018055B1 (en) Information processing device and information processing method, and computer program
JP4169049B2 (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP4779797B2 (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP4656021B2 (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP4979533B2 (ja) 情報処理装置、その制御方法
JP2004363825A (ja) 記録再生装置、記録再生方法、その記録媒体およびプログラム
JP4255796B2 (ja) データ記録装置、データ記録方法、データ記録プログラム、および該プログラムを記録した記録媒体
KR20080050480A (ko) 정보 처리 장치 및 정보 처리 방법과 컴퓨터 프로그램
JP2005005856A (ja) データ処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110607

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110620

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees