JP4492484B2 - 情報処理装置および情報処理方法、記録媒体、並びに、プログラム - Google Patents

情報処理装置および情報処理方法、記録媒体、並びに、プログラム Download PDF

Info

Publication number
JP4492484B2
JP4492484B2 JP2005239829A JP2005239829A JP4492484B2 JP 4492484 B2 JP4492484 B2 JP 4492484B2 JP 2005239829 A JP2005239829 A JP 2005239829A JP 2005239829 A JP2005239829 A JP 2005239829A JP 4492484 B2 JP4492484 B2 JP 4492484B2
Authority
JP
Japan
Prior art keywords
video data
compressed video
encoding
point
virtual buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005239829A
Other languages
English (en)
Other versions
JP2007059996A (ja
Inventor
恭平 小藪
孝明 渕江
博美 吉成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005239829A priority Critical patent/JP4492484B2/ja
Priority to US11/507,270 priority patent/US8311104B2/en
Priority to CN2006101445008A priority patent/CN1937777B/zh
Priority to KR1020060079247A priority patent/KR101450864B1/ko
Publication of JP2007059996A publication Critical patent/JP2007059996A/ja
Application granted granted Critical
Publication of JP4492484B2 publication Critical patent/JP4492484B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本発明は、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関し、特に、可変ビットレート方式で圧縮した映像データを編集する場合に用いて好適な、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関する。
圧縮された２つの映像データを所定の編集点で接続することにより編集する処理について、図１を用いて説明する。
まず、編集対象圧縮映像データ１および編集対象圧縮映像データ２のそれぞれにおいて、編集点近傍の部分的なデコードが行われ、部分的な非圧縮の映像信号１および映像信号２が得られる。そして、非圧縮の映像信号１および映像信号２が編集点で接続されて、必要に応じて編集点付近にエフェクト（Effect）が施されて、再エンコードが行われる。そして、再エンコードされた圧縮映像データが、デコードおよび再エンコードされていない（部分的なデコードが行われた編集点近傍以外の）圧縮映像データと結合される。
図１を用いて説明した方法は、圧縮された編集素材の映像データを全てデコードしてから、映像信号を編集点でつなぎ、再び全ての映像信号を再エンコードして編集済みの圧縮映像データを得る方法と比較して、再エンコードによる画質劣化を局所的に抑えることができるとともに、編集処理時間を大幅に短縮することができるなどの利点がある。
また、MPEGなどに代表される圧縮画生成（エンコード）においては、VBVバッファ（Video Buffering Verifier)と称される仮想デコーダモデルを元に、VBVバッファがオーバーフローもアンダーフローもしないよう、発生符号量を制御する必要がある。VBVの動作が正常でなくなると、受信側のデコーダのバッファがアンダーフローを起こすなどして、データの欠落による画質劣化を招く。
MPEG2システムで規定されている多重ストリームにおいては、トランスポートストリーム（Transport Stream）であっても、プログラムストリーム（Program Stream）であっても、それぞれの一つ下のLayerは、PES(Packetaized Elementary Stream)であり、PESパケットヘッダには、オーディオ・ビデオの提示時刻を与えるPTS(プレゼンテーションタイムスタンプ）と復号開始時刻を与えるDTS（デコーディングタイムスタンプ）のほか、パケット単位のスクランブリングを行う制御信号やエラー検出のためのCRCなどの情報が含まれている。
エンコーダは、DTSおよびPTS、ならびに、現buffer残有量を基に、ストリーム内にvbv_delay情報がある無しにかかわらず、バッファ占有量の制御が可能である。しかしながら、時間情報を持たない可変ビットレート方式で圧縮されたES(Elementary Stream)を扱う場合、vbv_delayの値は最大値で固定されており、バッファの占有量を知る手段がない。そのため、エンコーダは、エンコードしようとするフレームの情報だけでバッファ占有量を判断することができない。
したがって、図１を用いて説明した様に、編集点の近傍のみを部分的にデコードし、接続した後に再エンコードして編集するようにした場合、このバッファ占有量の規格を満たしてバッファ占有量の連続性を維持することが困難である。
このような、時間指定のないストリームをエンコードする場合、VBR（Variable Bit Rate：可変ビットレート）においては、シーケンスの開始点において、バッファの上限から再生を始めることにより、バッファアンダフローを防止することが一般的である。
また、従来、圧縮符号化されたMPEGストリームを編集するために、編集点（スプライス点）近傍のピクチャを一旦デコードし、非圧縮の画像信号を編集点でつなぎあわせた後、再エンコードする場合、バッファのオーバーフローまたはアンダーフローが発生しないように、仮想的に求められた再エンコード部分のVBVバッファ占有量の軌跡を参照することにより、オーバーフロー量とアンダーフロー量を演算し、さらに、再エンコード部分と再エンコードを行わないオリジナルストリームのスイッチングポイントとのVBVバッファのギャップを演算することにより、目標符号量のオフセット値を求め、新たな目標発生符号量を演算して設定することができる技術がある（例えば、特許文献１）。
国際公開番号ＷＯ９９／０５８６４号公報
また、２つのストリームを結合させて編集を行う場合、2つのストリームの結合点前後のバッファ占有量に制限を設けて再符号化を行うことにより、バッファの破綻を生じさせないようにすることができる技術がある（例えば、特許文献２）。
特開平９−３３１５２４号公報
しかしながら、編集点近傍において、上述した方法により、発生符号量を制限するようにした場合、再エンコードによって発生されるストリームの最終ピクチャ近傍で発生符号量を十分に割り当てることが出来なくなるなど、場合によっては著しく画像品質を落とすことがある。
本発明はこのような状況に鑑みてなされたものであり、編集点近傍の画像品質の劣化を可能な限り防止することができるように、VBRストリームにおける編集処理を制御することができるようにするものである。
本発明の第１の側面の情報処理装置は、第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置であって、前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データの符号量を取得する取得手段と、前記取得手段により取得された前記第１の圧縮映像データの符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する解析手段と、前記解析手段により解析された前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定する決定手段とを備える。
前記取得手段には、前記再エンコード区間の終了点近傍の前記第２の圧縮映像データの符号量をさらに取得させ、前記解析手段には、前記取得手段により取得された前記第２の圧縮映像データの符号量を基に、前記終了点近傍の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡をさらに解析させ、前記決定手段には、前記解析手段により解析された前記第２の軌跡のうち、仮想バッファ占有量が最大値となる時間と最高ビットレートの積算値により求められる符号量の分、前記第２の軌跡を仮想バッファの占有量が減少する方向に修正して求められる第４の軌跡における前記終了点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記終了点の仮想バッファの占有量の下限値にさらに決定させることができる。
前記再エンコード区間を設定する再エンコード区間設定手段をさらに設けることができる。
前記再エンコード区間設定手段には、前記第１の圧縮映像データと第２の圧縮映像データの符号化方法によって前記再エンコード区間の長さを決定させることができる。
前記再エンコード区間の開始点を、前記第３の軌跡のうち、仮想バッファ占有量が最も多い位置に変更し、前記再エンコード区間の終了点を、前記第４の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード区間変更手段を更に備えさせることができる。
前記変更後の前記再エンコード区間の開始点は、変更前の前記再エンコード区間より前の時刻に存在し、前記変更後の前記再エンコード区間の終了点は、変更前の前記再エンコード区間より後の時刻に存在するようにさせることができる。
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうち、前記再エンコード区間を含む所定の範囲の圧縮映像データをデコードするデコード手段と、前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、前記決定手段により決定された、前記開始点の仮想バッファの占有量の上限値、および、前記終了点における仮想バッファの占有量の下限値に基づいて、前記接続手段により接続されて生成された前記第３の非圧縮映像信号のうち、前記再エンコード区間に対応する部分を再エンコードして、第３の圧縮映像データを生成するエンコード手段と、前記再エンコード区間以外の前記第１の圧縮映像データおよび前記再エンコード区間以外の前記第２の圧縮映像データと、前記エンコード手段により再エンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段とを更に備えさせることができる。
本発明の第１の側面の情報処理方法およびプログラムは、編集点を含む再エンコード区間の開始点近傍の第１の圧縮映像データの符号量の取得を制御する取得制御ステップと、前記取得制御ステップの処理により取得が制御された前記第１の圧縮映像データの符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する解析ステップと、前記解析ステップの処理により解析された前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定する決定ステップとを含む。
本発明の第１の側面においては、編集点を含む再エンコード区間の開始点近傍の第１の圧縮映像データの符号量が取得されて、前記第１の圧縮映像データの符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡が解析され、前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量が、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定される。
本発明の第２の側面の情報処理装置は、第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置であって、前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の前記第２の圧縮映像データの符号量を取得する取得手段と、前記取得手段により取得された前記符号量を基に、前記再エンコード区間の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析するとともに、前記再エンコード区間の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡を解析する解析手段と、前記再エンコード区間の開始点を、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更し、前記再エンコード区間の終了点を、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード区間変更手段とを備える。
前記変更後の前記再エンコード区間の開始点は、変更前の前記再エンコード区間より前の時刻に存在し、前記変更後の前記再エンコード区間の終了点は、変更前の前記再エンコード区間より後の時刻に存在するようにさせることができる。
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうち、変更後の前記再エンコード区間を含む所定の範囲の圧縮映像データをデコードするデコード手段と、前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、前記接続手段により接続されて生成された前記第３の非圧縮映像信号のうち、変更後の前記再エンコード区間に対応する部分を再エンコードして、第３の圧縮映像データを生成するエンコード手段と、前記再エンコード区間以外の前記第１の圧縮映像データおよび前記再エンコード区間以外の前記第２の圧縮映像データと、前記エンコード手段により再エンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段とを更に備えさせることができる。
本発明の第２の側面の情報処理方法およびプログラムは、編集点を含む再エンコード区間の開始点近傍の第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の第２の圧縮映像データの符号量の取得を制御する取得制御ステップと、前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する第１の解析ステップと、前記再エンコード区間の開始点を、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更する再エンコード開始点変更ステップと、前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記終了点近傍の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡を解析する第２の解析ステップと、前記再エンコード区間の終了点を、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード終了点変更ステップとを含む。
本発明の第２の側面においては、編集点を含む再エンコード区間の開始点近傍の第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の第２の圧縮映像データの符号量が取得されて、前記符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡と、前記終了点近傍の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡とが解析され、前記再エンコード区間の開始点が、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更され、前記再エンコード区間の終了点が、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更される。
以上のように、本発明の第１の側面によれば、第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御することができ、特に、デコードされて前記編集点で接続された前記第１の圧縮映像データとおよび前記第２の圧縮映像データの再エンコード範囲の開始点と終了点におけるバッファ占有量を、再エンコード範囲に割り当てられる発生符号量の自由度が増すように設定することができる。
また、本発明の第２の側面によれば、第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御することができ、特に、デコードされて前記編集点で接続された前記第１の圧縮映像データとおよび前記第２の圧縮映像データの再エンコード範囲を、再エンコード範囲に割り当てられる発生符号量の自由度が増すように設定することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第１の側面の情報処理装置は、第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置（たとえば、編集装置１）であって、前記編集点を含む再エンコード区間（例えば、ディフォルトの再エンコード範囲）の開始点近傍の前記第１の圧縮映像データの符号量を取得する取得手段（例えば、図３の発生符号量検出部５１）と、前記取得手段により取得された前記第１の圧縮映像データの符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する解析手段（例えば、図３のバッファ占有量解析部５２）と、前記解析手段により解析された前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定する決定手段（例えば、図３のバッファ占有量決定部５３）とを備える。
前記再エンコード区間の開始点を、前記第３の軌跡のうち、仮想バッファ占有量が最も多い位置に変更し、前記再エンコード区間の終了点を、前記第４の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード区間変更手段（例えば、図３の再エンコード区間決定部５４）を更に備えることができる。
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうち、前記再エンコード区間を含む所定の範囲の圧縮映像データをデコードするデコード手段（例えば、図２のデコーダ２２およびデコーダ２３）と、前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段（例えば、図２のエフェクト／スイッチ２６）と、前記決定手段により決定された、前記開始点の仮想バッファの占有量の上限値、および、前記終了点における仮想バッファの占有量の下限値に基づいて、前記接続手段により接続されて生成された前記第３の非圧縮映像信号のうち、前記再エンコード区間に対応する部分を再エンコードして、第３の圧縮映像データを生成するエンコード手段（例えば、図２のエンコーダ２７）と、前記再エンコード区間以外の前記第１の圧縮映像データおよび前記再エンコード区間以外の前記第２の圧縮映像データと、前記エンコード手段により再エンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段（例えば、図２のストリームスプライサ２５）とを更に備えることができる。
本発明の第１の側面の情報処理方法、プログラム、および、記録媒体に記録されているプログラムは、編集点を含む再エンコード区間（例えば、ディフォルトの再エンコード範囲）の開始点近傍の第１の圧縮映像データの符号量の取得を制御する取得制御ステップ（例えば、図１０のステップＳ４１または図１１のステップＳ８１の処理）と、前記取得制御ステップの処理により取得が制御された前記第１の圧縮映像データの符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する解析ステップ（例えば、図１０のステップＳ４７、または、図１１のステップＳ８７の処理）と、前記解析ステップの処理により解析された前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定する決定ステップ（例えば、図１０のステップＳ４９または図１１のステップＳ８９の処理）とを含む。
本発明の第２の側面の情報処理装置は、第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置（たとえば、編集装置１）において、前記編集点を含む再エンコード区間（例えば、ディフォルトの再エンコード範囲）の開始点近傍の前記第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の前記第２の圧縮映像データの符号量を取得する取得手段（例えば、図３の発生符号量検出部５１）と、前記取得手段により取得された前記符号量を基に、前記再エンコード区間の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析するとともに、前記再エンコード区間の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡を解析する解析手段（例えば、図３のバッファ占有量解析部５２）と、前記再エンコード区間の開始点を、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更し、前記再エンコード区間の終了点を、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード区間変更手段（例えば、図３の再エンコード区間決定部５４）とを備える。
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうち、変更後の前記再エンコード区間を含む所定の範囲の圧縮映像データをデコードするデコード手段（例えば、図２のデコーダ２２およびデコーダ２３）と、前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段（例えば、図２のエフェクト／スイッチ２６）と、前記接続手段により接続されて生成された前記第３の非圧縮映像信号のうち、変更後の前記再エンコード区間に対応する部分を再エンコードして、第３の圧縮映像データを生成するエンコード手段（例えば、図２のエンコーダ２７）と、前記再エンコード区間以外の前記第１の圧縮映像データおよび前記再エンコード区間以外の前記第２の圧縮映像データと、前記エンコード手段により再エンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段（例えば、図２のストリームスプライサ２５）とを更に備えることができる。
本発明の第２の側面の情報処理方法、プログラム、および、記録媒体に記録されているプログラムは、編集点を含む再エンコード区間（例えば、ディフォルトの再エンコード範囲）の開始点近傍の第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の第２の圧縮映像データの符号量の取得を制御する取得制御ステップ（例えば、図１０のステップＳ４１または図１１のステップＳ８１の処理）と、前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する第１の解析ステップ（例えば、図１０のステップＳ４７、または、図１１のステップＳ８７の処理）と、前記再エンコード区間の開始点を、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更する再エンコード開始点変更ステップ（例えば、図１０のステップＳ５１または図２２のステップＳ９１）と、前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記終了点近傍の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡を解析する第２の解析ステップ（例えば、図１０のステップＳ４２、または、図１１のステップＳ８２の処理）と、前記再エンコード区間の終了点を、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード終了点変更ステップ（例えば、図１０のステップＳ４６または図２２のステップＳ８６）とを含む。
以下、図を参照して、本発明の実施の形態について説明する。
図２は本発明を適用した編集装置１のハードウェア構成を示すブロック図である。
ＣＰＵ（Central Processing Unit）１１は、ノースブリッジ１２に接続され、例えば、ＨＤＤ（Hard disk Drive）１６に記憶されているデータの読み出しなどの処理を制御したり、ＣＰＵ２０が実行する編集処理を制御するためのコマンドや制御情報を生成し、出力する。
また、ＣＰＵ１１は、ＨＤＤ１６に記録されているデータのうちの２つの映像素材である編集対象圧縮映像データ１（以下、素材１と称する）および編集対象圧縮映像データ２（以下、素材２と称する）を読み出して、編集点の近傍のみを部分的にデコードさせ、接続した後に再エンコードして編集させる場合、再エンコード時に仮想バッファ占有量の規格を満たして、再エンコード部分と再エンコードしない部分のバッファ占有量の連続性を維持しつつ、結合点前後のバッファ占有量に制限をできるだけ少なくして発生符号量を十分に割り当てることができるような再エンコード範囲の設定、および、再エンコード範囲の最初のバッファ占有量の下限値と最後のバッファ占有量の上限値を決定し、ＣＰＵ２０が実行する編集処理を制御するためのコマンドとともに出力することができる。再エンコード範囲の設定、および、再エンコード範囲の最初と最後のバッファ占有量の設定値の決定の詳細については後述するが、このようにすることにより、再エンコード範囲に発生符号量をより多く与えることが可能であるので、編集点近傍の画像品質の劣化を可能な限り防止することができる。
ノースブリッジ１２は、ＰＣＩバス（Peripheral Component Interconnect/Interface）１４に接続され、例えば、ＣＰＵ１１の制御に基づいて、サウスブリッジ１５を介して、ＨＤＤ１６に記憶されているデータの供給を受けて、ＰＣＩバス１４、ＰＣＩブリッジ１７を介して、メモリ１８に供給する。また、ノースブリッジ１２は、メモリ１３とも接続されており、ＣＰＵ１１の処理に必要なデータを授受する。
メモリ１３は、ＣＰＵ１１が実行する処理に必要なデータを保存する。サウスブリッジ１５は、ＨＤＤ１６のデータの書き込みおよび読み出しを制御する。ＨＤＤ１６には、圧縮符号化された編集用の素材が記憶されている。
ＰＣＩブリッジ１７は、メモリ１８のデータの書き込みおよび読み出しを制御したり、デコーダ２２乃至２４、または、ストリームスプライサ２５への圧縮符号化されたデータ（素材１、素材２）の供給を制御するとともに、ＰＣＩバス１４およびコントロールバス１９のデータの授受を制御する。メモリ１８は、ＰＣＩブリッジ１７の制御に基づいて、ＨＤＤ１６により読み出された、編集用素材である圧縮符号化されたデータや、ストリームスプライサ２５から供給される編集後の圧縮符号化されたデータを記憶する。
ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から供給されたコマンドおよび制御情報にしたがって、ＰＣＩブリッジ１７、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、および、エンコーダ２７が実行する処理を制御する。メモリ２１は、ＣＰＵ２０の処理に必要なデータを記憶する。
デコーダ２２乃至デコーダ２４は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化データをデコードし、非圧縮の映像信号を出力する。デコーダ２２およびデコーダ２３において実行されるデコードの範囲は、ＣＰＵ１１によってきめられる再エンコード範囲と同一でもよいし、再エンコード範囲を含むそれ以上の範囲であってもよい。ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、供給された圧縮映像データを、所定のフレームで結合する。また、デコーダ２２乃至デコーダ２４は、編集装置１に含まれない独立した装置として設けられていても良い。例えば、デコーダ２４が、独立した装置として設けられている場合、デコーダ２４は、後述する処理により編集されて生成された圧縮編集映像データの供給を受け、復号し、出力することができるようになされる。
また、デコーダ２２乃至デコーダ２４は、必要に応じて、実際の編集作業の前段階として、ストリームの解析を行うために、素材１および素材２のデコードを行い、バッファに蓄積される符号量の情報を、ＣＰＵ２０に通知するようにしてもよい。ＣＰＵ２０は、コントロールバス１９、ＰＣＩブリッジ１７、ＰＣＩバス１４、および、ノースブリッジ１２を介して、ＣＰＵ１１に、デコード時にバッファに蓄積される符号量の情報を通知する。
エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、デコーダ２２またはデコーダ２３から供給される、非圧縮の映像信号出力を切り替える、すなわち、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて、所定の範囲にエフェクトを施して、エンコーダ２７に供給する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、供給された非圧縮の映像信号のうち、再エンコード範囲として設定された部分の非圧縮の映像信号をエンコードして、圧縮符号化された圧縮映像データを、ストリームスプライサ２５に出力する。
次に、第１の実施の形態における編集装置１の動作について説明する。
ＨＤＤ１６には、VBR(variable bit rate)で圧縮された素材１および素材２のデータが記憶されている。
ＣＰＵ１１は、ＨＤＤ１６に保持されている圧縮符号化された映像素材のうち、図示しない操作入力部から供給されたユーザの操作入力を基に、編集に用いられる素材として選択された圧縮符号化された素材１のデータおよび素材２のデータの発生符号量に関する情報を取得し、この情報を基に、再エンコード範囲の最初と最後のバッファ占有量を決定し、再エンコード区間を決定する。
図３は、ＣＰＵ１１が編集点付近の再エンコードにおける発生符号量を決定し、再エンコード区間を決定するために有する機能を説明するための機能ブロックである。
発生符号量検出部５１は、ＨＤＤ１６に保存されている、編集される素材１および素材２の発生符号量を検出し、バッファ占有量解析部５２に供給する。発生符号量の検出方法は、例えば、ＨＤＤ１６に保存されている、編集される素材１および素材２のデータを解析することにより、符号量（すなわち、ピクチャヘッダ間の符号量）を検出するようにしてもよいし、編集される素材１および素材２のデータをデコーダ２２乃至２４で一旦デコードさせて、バッファの蓄積量を検出するようにしてもよい。
バッファ占有量解析部５２は、発生符号量検出部５１から供給された、素材１および素材２の発生符号量の情報を基に、再エンコードを行わない範囲と再エンコード区間との接続点付近におけるバッファ占有量のモデル状態を解析する。
なお、再エンコード区間の長さ（編集点を中心とした、再エンコードされる素材１および素材２のピクチャ数）は、編集装置１において、素材の種類にかかわらずディフォルト値が予め決まっているか、または、素材となる圧縮符号化データの符号化方法によりディフォルト値が予め決まっているものとする。例えば、素材となる圧縮符号化データがMPEGのLONG GOP方式で符号化されているものである場合、編集点を含んだ１GOPが再エンコード区間のディフォルト値とされる。
VBR方式で圧縮された画像においては、図４に示されるように、バッファ占有量は上限を超えない（バッファ占有量は所定時間VBV_MAXに張り付いたようになる）ので、バッファは破綻しないが、アンダーフローを起こした場合には、バッファが破綻し、出力される画像に影響が発生する。
CBR（Constant Bit Rate)方式で符号化されたストリームを取り扱う場合においては、bit_rate_value(Sequence_header),bit_rate_extension(Sequence_extension)、および、vbv_delay(picture_header)の値を基にして、対象となるピクチャのバッファ内の位置を算出することによってバッファ占有量を算出することができるが、VBRの場合、この算出の基となる、vbv_delayの値が、最大値(0xFFFF)となっているため、正しいバッファ占有量を計算することができない。
このように再生時間情報が記載されていないエレメンタリストリームを扱うとき、エンコードされたストリームの先頭からデコードすることができれば、エンコーダが意図したバッファ占有量の軌跡を再現することが出来るが、常識的に考えれば、デコードは、ストリームの先頭からばかり行われるわけではない。したがって、エンコーダは、アンダーフローによる画像欠落が発生しないようなバッファ占有量の仮想的な軌跡を算出しなければならない。
そこで、バッファ占有量解析部５２は、発生符号量検出部５１により検出された、再エンコードを行わない範囲と再エンコード区間との接続点付近におけるバッファ占有量を解析するための第１のモデル状態として、図５に示されるように、再エンコード区間と接続される、素材２の最初のピクチャにおけるバッファ占有量がVBV_MAXとなる場合を、再エンコード区間の終了点付近に十分な符号量を割り当てることができないWorst caseとして、再エンコード区間の最後の素材２と再エンコードされない素材２との接続点付近のバッファ占有量の仮想的な軌跡を算出する。
また、バッファ占有量解析部５２は、再エンコードを行わない範囲と再エンコード区間との接続点付近におけるバッファ占有量を解析するための第２のモデル状態として、図６に示されるように、再エンコード区間と素材１との接続点におけるバッファ占有量が０となる場合を、再エンコード区間の開始点付近に十分な符号量を割り当てることができないWorst caseとして、再エンコードされない素材１と再エンコード区間の素材１との接続点付近のバッファ占有量の仮想的な軌跡を算出する。
そして、バッファ占有量解析部５２は、算出した第１のモデルと第２のモデルのバッファ占有量の仮想的な軌跡を、バッファ占有量決定部５３および再エンコード区間決定部５４にそれぞれ供給する。
なお、バッファ占有量解析部５２における解析範囲が長ければ長いほど、よりよい制御ができる可能性が向上し、その一方で、処理時間がかかってしまう。解析範囲は、例えば、再生時間で１乃至２秒間程度に対応する範囲や、素材となる圧縮符号化データがMPEGのLONG GOP方式で符号化されているものである場合、１乃至２GOP程度が適当であるが、経験的または実験的に適宜設定可能な値とすることができる。
エンコーダは、VBRであっても、VBVバッファの規定を守るようにバッファ管理を行いながらエンコードを行っているので、再エンコード区間に続く、再エンコードしない区間の素材２のいずれかのピクチャにおいてバッファ占有量が上限にあたれば、それ以降のバッファ占有量は下限を下回ることはないといえる。したがって、図５に示されるWorst caseのように、素材２の再エンコード区間と接続される最初のフレームのバッファ占有量が上限にあたるように再エンコード区間におけるバッファ制御を行えば、規格違反をせずに編集処理を行うことが可能となる。
しかしながら、このようなWorst caseにおいては、再エンコード区間の最後のバッファ占有量が、上限VBV_MAXから「最高ビットレート×1frame時間」だけ低い値からVBV_MAXまでの間のいずれかの値となるように制御を行わなければならない。このため、再エンコード区間の符号配分の制限が非常に厳しいものとなり、画質が劣化してしまう恐れが生じる。
そこで、バッファ占有量決定部５３は、素材２の再エンコード区間と接続される最初のピクチャがVBV_MAXとなるWorst caseにおいて、図５のαおよびβに示されるように、バッファ占有量がVBV_MAXに張り付いている状態が存在するか否かを探索する。図５のαおよびβに示されるように、バッファ占有量がVBV_MAXに張り付いている状態が存在する場合、αおよびβに示される区間だけ、バッファ占有量の仮想的な軌跡を下方に修正し、再エンコード区間の最後のバッファ占有量の値を低くしつつ、再エンコードしない区間の素材２のいずれかのピクチャにおいてバッファ占有量が上限となっている状態を求める。ただし、バッファ占有量決定部５３は、このとき、アンダーフローが発生しない範囲でバッファ占有量の仮想的な軌跡を下方に修正する。
具体的には、図５において、「最高ビットレート×αで示される区間」だけ、バッファ占有量の仮想的な軌跡が下方に修正された場合、アンダーフローが発生しなければ、再エンコード区間の最後のバッファ占有量の値は、矢印８１に示される領域よりも広い矢印８２に示される領域の範囲内で制御することができる。また、更に、「最高ビットレート×βで示される区間」だけ、バッファ占有量の仮想的な軌跡が下方に修正された場合、アンダーフローが発生しなければ、再エンコード区間の最後のバッファ占有量の値は、矢印８２に示される領域よりも更に広い矢印８３に示される領域の範囲内で制御することができる。
このようにすることにより、再エンコード区間の終了点におけるバッファ占有量の下限値をWorst caseよりも減少させる（少ない値に設定可能にする）ことができるため、再エンコード区間の最後のフレームに配分可能な符号量の上限値を増加させることができる。これにより、再エンコード区間におけるバッファ占有量の制御の自由度が増し、再エンコード区間における符号配分のコントロールが容易になるので、再エンコード区間の画質の劣化を防ぐようにすることが可能となる。
また、図６に示されるように、再エンコード区間と素材１との接続点におけるバッファ占有量が０となるWorst caseにおいて、再エンコード区間の最初のフレームに、「最高ビットレート×1frame時間」の符号量以下しか割り当てることができないため、画質が劣化してしまう恐れが生じる。
素材１は、VBVバッファの規定を守るようにバッファ管理が行われている圧縮画像である。そこで、Worst caseを基準とした素材１の解析範囲内のバッファ占有量の仮想的な軌跡において、バッファ占有量がアンダーフローしているピクチャが存在する場合、そのアンダーフローの分だけ、バッファ占有量の仮想的な軌跡を上方に修正しても、再エンコード区間においてはVBVバッファの規定を守った制御を行うことが可能となる。すなわち、バッファ占有量決定部５３は、Worst caseを基準とした素材１の解析範囲内のバッファ占有量の仮想的な軌跡において、バッファ占有量がアンダーフローしているピクチャが存在する場合、そのアンダーフローの分だけ、バッファ占有量の仮想的な軌跡を上方に修正して、再エンコード範囲の最初のバッファ占有量を決定する。これにより、再エンコード区間の開始点におけるバッファ占有量の上限値を増加させる（大きな値に設定可能にする）ことができ、最初のフレームに配分可能な符号量の自由度を増加させることができるので、画質の劣化を防止することが可能となる。
具体的には、図６において、素材１の解析範囲内のバッファ占有量で最も大きくアンダーフローしている矢印１０１で示されるバッファ占有量の分だけ、矢印１０２で示されるようにバッファ占有量の仮想的な軌跡を上方に修正した場合、再エンコード範囲の最初のバッファ占有量は、矢印１０３で示される「最高ビットレート×1frame時間」の符号量以下の範囲内から、矢印１０３で示される「最高ビットレート×1frame時間」の符号量＋矢印１０２に対応する、矢印１０４で示される範囲内の発生符号量を割り当てることが可能になるので、画質の劣化を防止することが可能となる。
また、上述したように、再エンコード区間の最後のピクチャにおけるバッファ占有量の下限値が低いほうが、再エンコード区間における符号量の割り当ての自由度が増し、再エンコード区間の最初のピクチャにおけるバッファ占有量の上限値が高いほうが、再エンコード区間における符号量の割り当ての自由度が増し、再エンコード区間の画質劣化を防止することが可能となる。
そこで、再エンコード区間決定部５４は、再エンコードされない素材２の再エンコード区間と接続される最初のピクチャがVBV_MAXとなるWorst caseにおいて、図７に示されるように、素材２の解析範囲内のバッファ占有量が最も低くなる点を検出し、再エンコード区間の終了点を、バッファ占有量が最も低くなる検出点に変更する。
具体的には、図７に示されるように、Worst caseにおいて、元の再エンコード区間では、元の再エンコード区間と再エンコードされない区間の接続点のバッファ占有量は、矢印１２１に示される領域内となるように制御する必要があったが、再エンコード区間決定部５４により変更された新たな再エンコード区間と再エンコードされない区間の接続点のバッファ占有量は、矢印１２２に示される領域内となるように制御すればいいので、再エンコード区間における符号配分の自由度が増し、画質劣化を防ぐことができる。
また、同様にして、再エンコード区間決定部５４は、再エンコード区間と再エンコードされない素材１との接続点におけるバッファ占有量が０となるWorst caseにおいて、図８に示されるように、素材１の解析範囲内のバッファ占有量が最も高くなる点を検出し、再エンコード区間の開始点を、バッファ占有量が最も高くなる検出点に変更する。
具体的には、図８に示されるように、Worst caseにおいて、元の再エンコード区間では、元の再エンコード区間と再エンコードされない区間の接続点の次のピクチャにおけるバッファ占有量は、矢印１４１に示される領域内となるように制御する必要があったが、再エンコード区間決定部５４により変更された新たな再エンコード区間と再エンコードされない区間の接続点のバッファ占有量は、矢印１４２に示される領域内となるように制御すればいいので、再エンコード区間における符号配分の自由度が増し、画質劣化を防ぐことができる。
また、バッファ占有量決定部５３および再エンコード区間決定部５４の処理は、いずれか一方のみが実行されるものとしてもよいし、この２つの処理を複合させることも可能である。すなわち、バッファ占有量解析部５２により解析された、再エンコードされない区間と再エンコード区間との前後の接続点近傍のWorst caseにおける所定範囲内におけるバッファ占有量の仮想的な軌跡を基に、図５および図６を用いて説明した様にして、バッファ占有量決定部５３がバッファ占有量の仮想的な軌跡を変更する処理を実行し、変更後のバッファ占有量の仮想的な軌跡を再エンコード区間決定部５４に供給する。そして、再エンコード区間決定部５４は、変更後のバッファ占有量の仮想的な軌跡を基に、図７および図８を用いて説明した様にして、再エンコード区間を変更する処理を行い、変更後の再エンコード区間をバッファ占有量決定部５３に供給する。バッファ占有量決定部５３は、新たな再エンコード区間における先頭と最後のバッファ占有量の値を求める。
コマンドおよび制御情報生成部５５は、バッファ占有量決定部５３により決定された再エンコード区間における先頭と最後のバッファ占有量の値と、再エンコード区間決定部５４により決定された再エンコード区間とを取得し、これらの情報と、ユーザにより指定された編集点の情報と、編集開始コマンドを生成する。
そして、ＣＰＵ１１は、サウスブリッジ１５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ１６から、圧縮符号化された素材１のデータおよび素材２のデータを読み出させ、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させて記憶させる。また、ＣＰＵ１１は、上述したコマンドおよび制御情報生成部５５により生成された、編集点、再エンコード区間、並びに、再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報と、編集開始を示すコマンドを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給する。
ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された素材１のデータのうち、ＣＰＵ１１によって設定された再エンコードを行う範囲に基づいて定められるデコード範囲のピクチャのデータをデコーダ２２に供給させるとともに、素材２のデータのうち、再エンコードを行う範囲に基づいて定められるデコード範囲のピクチャのデータをデコーダ２３に供給させる。デコード範囲は、再エンコード範囲と同一の範囲であっても、再エンコード範囲を含むそれ以上の範囲であってもよい。また、このとき、例えば、素材１および素材２のデータがMPEGなどのフレーム間参照符号化データである場合など、エンコードを行う範囲のピクチャが参照する必要があるピクチャが存在するのであれば、必要に応じて、対応する参照ピクチャもデコーダ２３に供給される。
また、このとき、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された素材１および素材２のデータのうちの再エンコードを行わない範囲のピクチャを、ストリームスプライサ２５に供給させる。
ＣＰＵ２０は、デコーダ２２およびデコーダ２３を制御して、供給された圧縮符号化されたデータをデコードさせる。
デコーダ２２およびデコーダ２３は、ＣＰＵ２０の制御に基づいて、供給されたデータをデコードし、復号されて得られた素材映像１および素材映像２の信号をエフェクト／スイッチ２６に供給する。エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、所定のカット（Cut）編集点（スプライス点）で、非圧縮の復号素材映像１と復号素材映像２の信号を接続して、必要に応じて、エフェクトを施し、再エンコード用の非圧縮の編集映像信号を生成し、再エンコードに必要な再エンコード用参照画像が存在する場合は、その参照画像データとともに、エンコーダ２７に供給する。
また、デコーダ２２およびデコーダ２３は、後段のエンコーダ２７によるエンコード処理に必要な情報を抽出し、コントロールバス１９を介して、ＣＰＵ２０に供給することができる。ＣＰＵ２０は、デコーダ２２またはデコーダ２３から供給された、後段のエンコーダ２７によるエンコード処理に必要な情報を、コントロールバス１９を介して、エンコーダ２７に供給する。
エンコーダ２７は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から供給された、再エンコード用の非圧縮の編集映像信号をエンコードする。
エンコーダ２７は再エンコード用の非圧縮の編集映像信号をエンコードする場合、ＣＰＵ２０から、ＣＰＵ１１によって設定された、再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報を基に、ＶＢＶバッファの規定を満たすようにバッファ制御を行う。
そして、エンコーダ２７において再エンコードされた映像データは、ストリームスプライサ２５に供給される。そして、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、素材１および素材２のデータのうちの再エンコードを行わない範囲の素材１および素材２と、エンコーダ２７から供給されたエンコードされた映像データとを接続し、圧縮編集映像データを生成する。
具体的には、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、素材１とエンコーダ２７から供給されたエンコードされた映像データとが表示順で連続するように接続され、エンコーダ２７から供給されたエンコードされた映像データと、ＰＣＩブリッジ１７から供給された、素材２とが表示順で連続するように接続されるように、ストリームをつなぎ合わせる。
そして、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、作成した圧縮編集映像データをＰＣＩブリッジ１７に供給して、メモリ１８に保存させるとともに、デコーダ２４に供給してデコードさせ、編集結果確認用のモニタなどに出力させて表示させたり、デコードされて生成されたベースバンド信号を、他の装置に出力させる。
図示しない操作入力部から、編集されて生成された圧縮編集映像データの保存が指令された場合、ＣＰＵ１１は、ＰＣＩブリッジ１７を制御して、メモリ１８に保存されている圧縮編集映像データを読み出させ、ＰＣＩバス１４およびノースブリッジ１２を介して、サウスブリッジ１５に供給させるとともに、サウスブリッジ１５を制御して、供給された圧縮編集映像データをＨＤＤ１６に供給させて保存させる。
次に、図９のフローチャートを参照して、本発明を適用した編集装置１が実行する編集処理について説明する。
ステップＳ１において、ＣＰＵ１１は、図示しない操作入力部から、編集開始を指令するユーザからの操作入力を受ける。
ステップＳ２において、図１０または図１１を用いて後述する、再エンコードおよびバッファ占有量決定処理が実行される。
ステップＳ３において、ＣＰＵ１１は、図示しない操作入力部から供給されたユーザの操作入力を基に、サウスブリッジ１５を制御して、ＨＤＤ１６から、圧縮符号化された素材１のデータおよび素材２のデータを読み出させ、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させて記憶させるとともに、編集点、再エンコード区間、並びに、再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報と、編集開始を示すコマンドを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給する。メモリ１８は、圧縮符号化された２つの編集素材データを取得する。
ステップＳ４において、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された２つの編集素材データから、決定された再エンコード範囲を基に、デコードされる範囲を決定し、デコードされる範囲のデータと、必要に応じて、この範囲のデータをデコードおよび再エンコードするために必要なデータを抽出させ、デコーダ２２およびデコーダ２３にそれぞれ供給させる。なお、デコード範囲は、再エンコード範囲と同じであっても、再エンコード範囲を含むそれ以上の範囲であってもよい。
また、このとき、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ２５に供給させる。ＰＣＩブリッジ１７は、ＣＰＵ２０の制御に基づいて、メモリ１８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータと、必要に応じて、この範囲のデータをデコードおよび再エンコードするために必要なデータを抽出し、デコーダ２２およびデコーダ２３にそれぞれ供給するとともに、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ２５に供給する。
また、このとき、ＣＰＵ２０は、必要に応じて、例えば、再エンコード範囲の画像に施されるエフェクトの種類や、再エンコードに含まれるピクチャの符号化難易度に関する情報を取得することが可能である。
ステップＳ５において、ＣＰＵ２０は、デコーダ２２およびデコーダ２３を制御して、決定されたデコード範囲のデータをデコードさせる。デコーダ２２およびデコーダ２３は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化された編集素材データをデコードして、エフェクト／スイッチ２６に供給する。
ステップＳ６において、ＣＰＵ２０は、エフェクト／スイッチ２６を制御して、デコードされたデータを編集点で接続させて、必要に応じて、エフェクトをかけさせる。エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、供給された非圧縮の復号映像素材を編集点で接続して、必要に応じて、エフェクトをかけ、エンコーダ２７に供給する。
ステップＳ７において、ＣＰＵ２０は、エンコーダ２７に再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報を供給するとともに、エンコーダ２７を制御して、デコードされて編集点で接続された画像データのうち、再エンコード区間の画像データを再エンコードさせる。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報に基づいて、VBVバッファの規定を満たすようにして、デコードされて編集点で接続された画像データのうち、再エンコード区間の画像データの再エンコードを行い、ストリームスプライサ２５に供給する。
ステップＳ８において、ストリームスプライサ２５は、再エンコードされた部分と、再エンコードされていない部分の圧縮映像データを接続し、処理が終了する。
このような処理により、２つの映像素材（圧縮映像データ）の編集点付近を部分的にデコードし、デコードされた非圧縮の映像信号を所定の編集点で接続した後、再エンコードを行い、デコードおよび再エンコードされていない部分の圧縮映像データと接続することにより、圧縮映像データの編集を実現することができる。
また、このとき、エンコーダ２７は、ＣＰＵ１１により設定された再エンコード範囲の編集画像を、ＣＰＵ１１により設定された再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報に基づいて、VBVバッファの規定を満たすようにして、再エンコードするので、従来における場合よりも発生符号量の割り当ての自由度が増し、画質の劣化を防ぐことができる。
次に、図１０のフローチャートを参照して、図９のステップＳ２において実行される処理の第１の例である、再エンコード範囲およびバッファ占有量決定処理１について説明する。
ステップＳ４１において、発生符号量検出部５１は、予め設定されているディフォルトの再エンコード区間に基づいて、再エンコード区間と再エンコードされない区間の接続点近傍の所定の範囲の素材１および素材２の発生符号量を検出し、バッファ占有量解析部５２に供給する。
ステップＳ４２において、バッファ占有量解析部５２は、図５を用いて説明した様に、素材２において、再エンコード区間の境界の次のピクチャのバッファ占有量が上限となるWorst caseにおいて、所定の範囲のバッファ占有量を解析し、Worst caseにおける仮想的なバッファ占有量の軌跡を求めて、バッファ占有量決定部５３および再エンコード区間決定部５４に供給する。
ステップＳ４３において、バッファ占有量決定部５３は、解析された、Worst caseにおける仮想的なバッファ占有量の軌跡において、VBV_MAXを超えている部分があるか否かを判断する。
ステップＳ４３において、VBV_MAXを超えている部分があると判断された場合、ステップＳ４４において、バッファ占有量決定部５３は、VBV_MAXを超えている部分の時間（例えば、図５におけるα、β）を基に、バッファアンダフローを起こさない条件を満たすように、再エンコード区間の最後のバッファ占有量を決定し、処理は、ステップＳ４７に進む。
ステップＳ４３において、VBV_MAXを超えている部分がないと判断された場合、ステップＳ４５において、再エンコード区間決定部５４は、図７を用いて説明した様に、解析範囲内の再エンコードされない素材２に対応する部分で、バッファ占有量が最も低いところを検出する。
ステップＳ４６において、再エンコード区間決定部５４は、図７を用いて説明した様に、再エンコード範囲の終了点を検出された位置に変更する。再エンコード区間決定部５４は、新たに設定した再エンコード範囲の終了点を、バッファ占有量決定部５３に通知するので、バッファ占有量決定部５３は、新たに設定された再エンコード範囲の終了点のバッファ占有量を求める。
ステップＳ４４またはステップＳ４６の処理の終了後、ステップＳ４７において、バッファ占有量解析部５２は、図６を用いて説明した様に、素材１において、再エンコード区間の境界のバッファ占有量が下限となるWorst caseにおいて、所定の範囲のバッファ占有量を解析し、Worst caseにおける仮想的なバッファ占有量の軌跡を求めて、バッファ占有量決定部５３および再エンコード区間決定部５４に供給する。
ステップＳ４８において、バッファ占有量決定部５３は、解析された、Worst caseにおける仮想的なバッファ占有量の軌跡において、アンダーフローが発生しているか否かを判断する。
ステップＳ４８において、アンダーフローが発生していると判断された場合、ステップＳ４９において、バッファ占有量決定部５３は、図６を用いて説明した様に、バッファアンダフロー分、仮想的な軌跡を上方に修正し、再エンコード区間の最初のバッファ占有量を決定し、処理は、ステップＳ５２に進む。
ステップＳ４８において、アンダーフローが発生していないと判断された場合、ステップＳ５０において、再エンコード区間決定部５４は、図８を用いて説明した様に、再エンコードされない素材１の解析範囲内で、バッファ占有量が最も高いところを検出する。
ステップＳ５１において、再エンコード区間決定部５４は、図８を用いて説明した様に、再エンコード範囲の開始点を検出された位置に変更する。再エンコード区間決定部５４は、新たに設定した再エンコード範囲の終了点を、バッファ占有量決定部５３に通知するので、バッファ占有量決定部５３は、新たに設定された再エンコード範囲の終了点のバッファ占有量を求める。
ステップＳ４９またはステップＳ５１の処理の終了後、ステップＳ５２において、コマンドおよび制御情報生成部５５は、編集点、再エンコード区間、並びに、再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報と、編集開始を示すコマンドを生成して出力し、処理は、図９のステップＳ２に戻り、ステップＳ３に進む。
このような処理により、可変ビットレート方式で圧縮された画像の編集を行う場合に、素材のデータを全て解析することなく、再エンコード区間のバッファ制御を容易にし、画質を向上させることができるような、再エンコード区間および再エンコード区間の開始点および終了点におけるバッファ占有量を決定することができる。
次に、図１１のフローチャートを参照して、図９のステップＳ２において実行される処理の第２の例である、再エンコード範囲およびバッファ占有量決定処理２について説明する。
ステップＳ８１乃至ステップＳ８３において、図１０のステップＳ４１乃至ステップＳ４３と基本的に同様の処理が実行される。
すなわち、発生符号量検出部５１は、予め設定されているディフォルトの再エンコード区間に基づいて、再エンコード区間と再エンコードされない区間の接続点近傍の所定の範囲の素材１および素材２の発生符号量を検出し、バッファ占有量解析部５２に供給する。バッファ占有量解析部５２は、図５を用いて説明した様に、素材２において、再エンコード区間の境界の次のピクチャのバッファ占有量が上限となるWorst caseにおいて、所定の範囲のバッファ占有量を解析し、Worst caseにおける仮想的なバッファ占有量の軌跡を求めて、バッファ占有量決定部５３および再エンコード区間決定部５４に供給する。バッファ占有量決定部５３は、解析された、Worst caseにおける仮想的なバッファ占有量の軌跡において、VBV_MAXを超えている部分があるか否かを判断する。
ステップＳ８３において、VBV_MAXを超えている部分があると判断された場合、ステップＳ８４において、バッファ占有量決定部５３は、VBV_MAXを超えている部分の時間（例えば、図５におけるα、β）を基に、バッファアンダフローを起こさない条件を満たすように、再エンコード区間の最後のバッファ占有量を決定し、修正した仮想的なバッファ占有量の軌跡を再エンコード区間決定部５４に供給する。
ステップＳ８３において、VBV_MAXを超えている部分がないと判断された場合、または、ステップＳ８４の処理の終了後、ステップＳ８５において、再エンコード区間決定部５４は、図７を用いて説明した様に、解析範囲内で、バッファ占有量が最も低いところを検出する。ステップＳ８５の処理においては、ステップＳ８４で再エンコード区間の最後のバッファ占有量が変更されていた場合は、変更後のバッファ占有量を基準とした仮想的な軌跡に基づいて、バッファ占有量が最も低いところが検出される。
ステップＳ８６において、再エンコード区間決定部５４は、図７を用いて説明した様に、再エンコード範囲の終了点を検出された位置に変更する。再エンコード区間決定部５４は、新たに設定した再エンコード範囲の終了点を、バッファ占有量決定部５３に通知するので、バッファ占有量決定部５３は、新たに設定された再エンコード範囲の終了点のバッファ占有量を求める。
ステップＳ８７およびステップＳ８８において、図１０のステップＳ４７およびステップＳ４８と基本的に同様の処理が実行される。
すなわち、バッファ占有量解析部５２は、図６を用いて説明した様に、素材１において、再エンコード区間の境界のバッファ占有量が下限となるWorst caseにおいて、所定の範囲のバッファ占有量を解析し、Worst caseにおける仮想的なバッファ占有量の軌跡を求めて、バッファ占有量決定部５３および再エンコード区間決定部５４に供給する。バッファ占有量決定部５３は、解析された、Worst caseにおける仮想的なバッファ占有量の軌跡において、アンダーフローが発生しているか否かを判断する。
ステップＳ８８において、アンダーフローが発生していると判断された場合、ステップＳ８９において、バッファ占有量決定部５３は、図６を用いて説明した様に、バッファアンダフロー分、仮想的な軌跡を上方に修正し、再エンコード区間の最初のバッファ占有量を決定し、修正した仮想的なバッファ占有量の軌跡を再エンコード区間決定部５４に供給する。
ステップＳ８８において、アンダーフローが発生していないと判断された場合、または。ステップＳ８９の処理の終了後、ステップＳ９０において、再エンコード区間決定部５４は、図８を用いて説明した様に、解析範囲内で、バッファ占有量が最も高いところを検出する。ステップＳ９０の処理においては、ステップＳ８９で再エンコード区間の最初のバッファ占有量が変更されていた場合は、変更後のバッファ占有量を基準とした仮想的な軌跡に基づいて、バッファ占有量が最も高いところが検出される。
ステップＳ９１において、再エンコード区間決定部５４は、図８を用いて説明した様に、再エンコード範囲の開始点を検出された位置に変更する。再エンコード区間決定部５４は、新たに設定した再エンコード範囲の開始点を、バッファ占有量決定部５３に通知するので、バッファ占有量決定部５３は、新たに設定された再エンコード範囲の開始点のバッファ占有量を求める。
ステップＳ９２において、コマンドおよび制御情報生成部５５は、編集点、再エンコード区間、並びに、再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報と、編集開始を示すコマンドを生成して出力し、処理は、図９のステップＳ２に戻り、ステップＳ３に進む。
このような処理により、可変ビットレート方式で圧縮された画像の編集を行う場合に、素材のデータを全て解析することなく、再エンコード区間のバッファ制御を容易にし、画質を向上させることができるような、再エンコード区間および再エンコード区間の開始点および終了点におけるバッファ占有量を決定することができる。
以上説明した処理によって、可変ビットレート方式で圧縮された画像の編集が、編集点近傍の一部分だけのデコードおよび再エンコードで可能になる。
また、可変ビットレート方式で圧縮された画像を編集する際に、再エンコード区間と再エンコードされない区間とのつなぎの点の近傍の仮想バッファのバッファ占有量の遷移状態を調べ、再エンコード区間のピクチャに割り当てられる符号量を増やすことができるようにしたので、制御が容易になり、画質の劣化を防止して、高画質な編集画像を得ることができるようになる。
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図２を用いて説明した編集装置１は、図１２に示されるようなパーソナルコンピュータ３０１により構成される。
図１２において、ＣＰＵ（Central Processing Unit）４１１は、ＲＯＭ（Read Only Memory）４１２に記憶されているプログラム、または記憶部４１８からＲＡＭ（Random Access Memory）４１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ４１３にはまた、ＣＰＵ４１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ４１１、ＲＯＭ４１２、およびＲＡＭ４１３は、バス４１４を介して相互に接続されている。このバス４１４にはまた、入出力インタフェース４１５も接続されている。
入出力インタフェース４１５には、キーボード、マウスなどよりなる入力部４１６、ディスプレイやスピーカなどよりなる出力部４１７、ハードディスクなどより構成される記憶部４１８、モデム、ターミナルアダプタなどより構成される通信部４１９が接続されている。通信部４１９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース４１５にはまた、必要に応じてドライブ４２０が接続され、磁気ディスク４３１、光ディスク４３２、光磁気ディスク４３３、もしくは、半導体メモリ４３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１８にインストールされる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
この記録媒体は、図１２に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク４３１（フロッピディスクを含む）、光ディスク４３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク４３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ４３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ４１２や、記憶部４１８に含まれるハードディスクなどで構成される。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
なお、上述の実施の形態においては、編集装置１が、それぞれ、デコーダとエンコーダを有しているものとして説明したが、デコーダおよびエンコーダが、それぞれ、独立した装置として構成されている場合においても、本発明は適用可能である。例えば、図１３に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置４７１、ベースバンド信号を符号化してストリームデータに変換する符号化装置４７２が、それぞれ独立した装置として構成されていても良い。
このとき、復号装置４７１は、映像素材である圧縮符号化データを復号し、符号化装置４７２に供給するのみならず、本発明を適用することにより符号化装置４７２により部分的に符号化された後、編集されて生成された圧縮符号化データの供給を受け、復号処理を行い、ベースバンド信号に変換することができる。ベースバンド信号に変換された編集後のストリームは、例えば、所定の表示装置に供給されて表示されたり、他の装置に出力されて、必要な処理が施される。
さらに、上述の実施の形態においては、デコーダ２２乃至２４が、供給された圧縮符号化データを完全にデコードせず、対応するエンコーダ２７が、非完全に復号されたデータの対応する部分を部分的にエンコードする場合においても、本発明は適用可能である。
例えば、デコーダ２２乃至２４が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、エンコーダ２７は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行うエンコーダにおいても、本発明を適用することができるのは言うまでもない。
さらに、上述の実施の形態においては、デコーダ２２乃至２４が完全に復号したベースバンド信号を、エンコーダ２７が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、デコーダ２２乃至２４が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、エンコーダ２７が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
更に、図１３に示される復号装置４７１が、供給されたストリームデータを完全に復号せず、対応する符号化装置４７２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
例えば、復号装置４７１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置４７２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な復号処理（中途段階までの復号）を行う復号装置４７１のデコード処理、および、符号化（中途段階からの符号化）を行う符号化装置４７２のエンコード処理において、本発明を適用することができるのは言うまでもない。
更に、復号装置４７１が完全に復号したベースバンド信号を、符号化装置４７２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置４７１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置４７２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
更に、このような部分的な復号を行う（復号処理の工程のうちの一部を実行する）符号化装置４５１と部分的な符号化を行う（符号化処理の工程のうちの一部を実行する）符号化装置４７２で構成されたトランスコーダ４８１においても、本発明は適用可能である。このようなトランスコーダ４８１は、例えば、スプライシングなどの編集を行う編集装置４８２、すなわち、上述した編集装置１のストリームスプライサ２５やエフェクト／スイッチ２６が実行可能な機能を有する編集装置が利用される場合などに用いられる。
さらに、上述の実施の形態においては、ＣＰＵ１１およびＣＰＵ２０がそれぞれ別の形態で構成されているが、これに限らず、編集装置１全体を制御する１つのＣＰＵとして構成する形態も考えられる。同様に、上述の実施の形態においては、メモリ１３およびメモリ２１がそれぞれ別の形態で構成されているが、これに限らず、編集装置１において１つのメモリとして構成する形態も考えられる。
さらに、上述の実施の形態においては、ＨＤＤ１６、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、および、エンコーダ２７を、それぞれ、ブリッジおよびバスを介して接続し、編集装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば、これらの構成要素のうちの一部が、外部から有線または無線で接続されるようにしても良いし、これらの構成要素は、この他、種々の接続形態で相互に接続されるようにしてもよい。
さらに、上述の実施の形態においては、圧縮された編集用の素材がＨＤＤに記憶されている場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に記録された編集用の素材を用いて編集処理を行う場合にも適用することができる。
さらに、上述の実施の形態においては、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、および、エンコーダ２７は、同一の拡張カード（例えば、PCIカード、PCI−Expressカード）に搭載する形態に限らず、例えばPCI−Expressなどの技術によりカード間の転送速度が高い場合には、それぞれ別の拡張カードに搭載してもよい。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
編集と部分再エンコードについて説明するための図である。 本発明を適用した編集装置１の構成を示すブロック図である。 図２のＣＰＵ１１が実行可能な機能について説明するための機能ブロック図である。 再エンコード区間とバッファ占有量を示す軌跡について説明する図である。 再エンコード区間の最後のバッファ占有量の決定について説明する図である。 再エンコード区間の最初のバッファ占有量の決定について説明する図である。 再エンコード区間の終了点の決定について説明する図である。 再エンコード区間の開始点の決定について説明する図である。 編集処理について説明するためのフローチャートである。 再エンコードおよびバッファ占有量決定処理１について説明するためのフローチャートである。 再エンコードおよびバッファ占有量決定処理２について説明するためのフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。 本発明を適用可能な異なる装置の構成について説明するための図である。
符号の説明
１ 編集装置， １１ ＣＰＵ， １６ ＨＤＤ， ２０ ＣＰＵ， ２２乃至２４
デコーダ， ２５ ストリームスプライサ， ２６ エフェクト／スイッチ， ２７ エ
ンコーダ， ５１ 発生符号量検出部， ５２ バッファ占有量解析部， ５３ バッファ占有量決定部， ５４ 再エンコード区間決定部， ５５ コマンドおよび制御情報生成部

Claims (16)

  1. 第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置において、
    前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データの符号量を取得する取得手段と、
    前記取得手段により取得された前記第１の圧縮映像データの符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する解析手段と、
    前記解析手段により解析された前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定する決定手段と
    を備える情報処理装置。
  2. 前記取得手段は、前記再エンコード区間の終了点近傍の前記第２の圧縮映像データの符号量をさらに取得し、
    前記解析手段は、前記取得手段により取得された前記第２の圧縮映像データの符号量を基に、前記終了点近傍の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡をさらに解析し、
    前記決定手段は、前記解析手段により解析された前記第２の軌跡のうち、仮想バッファ占有量が最大値となる時間と最高ビットレートの積算値により求められる符号量の分、前記第２の軌跡を仮想バッファの占有量が減少する方向に修正して求められる第４の軌跡における前記終了点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記終了点の仮想バッファの占有量の下限値にさらに決定する
    請求項１に記載の情報処理装置。
  3. 前記再エンコード区間を設定する再エンコード区間設定手段をさらに備える
    請求項２に記載の情報処理装置。
  4. 前記再エンコード区間設定手段は、前記第１の圧縮映像データと第２の圧縮映像データの符号化方法によって前記再エンコード区間の長さを決定する
    請求項３に記載の情報処理装置。
  5. 前記再エンコード区間の開始点を、前記第３の軌跡のうち、仮想バッファ占有量が最も多い位置に変更し、前記再エンコード区間の終了点を、前記第４の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード区間変更手段をさらに備える
    請求項２に記載の情報処理装置。
  6. 前記変更後の前記再エンコード区間の開始点は、変更前の前記再エンコード区間より前の時刻に存在し、
    前記変更後の前記再エンコード区間の終了点は、変更前の前記再エンコード区間より後の時刻に存在する
    請求項５に記載の情報処理装置。
  7. 前記第１の圧縮映像データおよび前記第２の圧縮映像データのうち、前記再エンコード区間を含む所定の範囲の圧縮映像データをデコードするデコード手段と、
    前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、
    前記決定手段により決定された、前記開始点の仮想バッファの占有量の上限値、および、前記終了点における仮想バッファの占有量の下限値に基づいて、前記接続手段により接続されて生成された前記第３の非圧縮映像信号のうち、前記再エンコード区間に対応する部分を再エンコードして、第３の圧縮映像データを生成するエンコード手段と、
    前記再エンコード区間以外の前記第１の圧縮映像データおよび前記再エンコード区間以外の前記第２の圧縮映像データと、前記エンコード手段により再エンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段と
    を更に備える請求項２に記載の情報処理装置。
  8. 第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置の情報処理方法において、
    前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データの符号量の取得を制御する取得制御ステップと、
    前記取得制御ステップの処理により取得が制御された前記第１の圧縮映像データの符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する解析ステップと、
    前記解析ステップの処理により解析された前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定する決定ステップと
    を含む情報処理方法。
  9. 第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理をコンピュータに実行させるためのプログラムであって、
    前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データの符号量の取得を制御する取得制御ステップと、
    前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する解析ステップと、
    前記解析ステップの処理により解析された前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定する決定ステップと
    を含む処理をコンピュータに実行させるプログラム。
  10. 請求項９に記載のプログラムが記録されている記録媒体。
  11. 第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置において、
    前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の前記第２の圧縮映像データの符号量を取得する取得手段と、
    前記取得手段により取得された前記符号量を基に、前記再エンコード区間の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析するとともに、前記再エンコード区間の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡を解析する解析手段と、
    前記再エンコード区間の開始点を、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更し、前記再エンコード区間の終了点を、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード区間変更手段と
    を備える情報処理装置。
  12. 前記変更後の前記再エンコード区間の開始点は、変更前の前記再エンコード区間より前の時刻に存在し、
    前記変更後の前記再エンコード区間の終了点は、変更前の前記再エンコード区間より後の時刻に存在する
    請求項１１に記載の情報処理装置。
  13. 前記第１の圧縮映像データおよび前記第２の圧縮映像データのうち、変更後の前記再エンコード区間を含む所定の範囲の圧縮映像データをデコードするデコード手段と、
    前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、
    前記接続手段により接続されて生成された前記第３の非圧縮映像信号のうち、変更後の前記再エンコード区間に対応する部分を再エンコードして、第３の圧縮映像データを生成するエンコード手段と、
    前記再エンコード区間以外の前記第１の圧縮映像データおよび前記再エンコード区間以外の前記第２の圧縮映像データと、前記エンコード手段により再エンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段と
    を更に備える請求項１１に記載の情報処理装置。
  14. 第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置の情報処理方法において、
    前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の前記第２の圧縮映像データの符号量の取得を制御する取得制御ステップと、
    前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する第１の解析ステップと、
    前記再エンコード区間の開始点を、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更する再エンコード開始点変更ステップと、
    前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記終了点近傍の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡を解析する第２の解析ステップと、
    前記再エンコード区間の終了点を、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード終了点変更ステップと
    を含む情報処理方法。
  15. 第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理をコンピュータに実行させるためのプログラムであって、
    前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の前記第２の圧縮映像データの符号量の取得を制御する取得制御ステップと、
    前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する第１の解析ステップと、
    前記再エンコード区間の開始点を、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更する再エンコード開始点変更ステップと、
    前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記終了点近傍の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡を解析する第２の解析ステップと、
    前記再エンコード区間の終了点を、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード終了点変更ステップと
    を含む処理をコンピュータに実行させるプログラム。
  16. 請求項１５に記載のプログラムが記録されている記録媒体。
JP2005239829A 2005-08-22 2005-08-22 情報処理装置および情報処理方法、記録媒体、並びに、プログラム Expired - Fee Related JP4492484B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005239829A JP4492484B2 (ja) 2005-08-22 2005-08-22 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US11/507,270 US8311104B2 (en) 2005-08-22 2006-08-21 Information processing apparatus and method, recording medium, and program
CN2006101445008A CN1937777B (zh) 2005-08-22 2006-08-22 信息处理装置和方法
KR1020060079247A KR101450864B1 (ko) 2005-08-22 2006-08-22 정보 처리 장치, 정보 처리 방법 및 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005239829A JP4492484B2 (ja) 2005-08-22 2005-08-22 情報処理装置および情報処理方法、記録媒体、並びに、プログラム

Publications (2)

Publication Number Publication Date
JP2007059996A JP2007059996A (ja) 2007-03-08
JP4492484B2 true JP4492484B2 (ja) 2010-06-30

Family

ID=37767290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005239829A Expired - Fee Related JP4492484B2 (ja) 2005-08-22 2005-08-22 情報処理装置および情報処理方法、記録媒体、並びに、プログラム

Country Status (4)

Country Link
US (1) US8311104B2 (ja)
JP (1) JP4492484B2 (ja)
KR (1) KR101450864B1 (ja)
CN (1) CN1937777B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4229149B2 (ja) * 2006-07-13 2009-02-25 ソニー株式会社 ビデオ信号処理装置およびビデオ信号処理方法、ビデオ信号符号化装置およびビデオ信号符号化方法、並びにプログラム
JP4577357B2 (ja) * 2007-12-27 2010-11-10 ソニー株式会社 符号化装置及び方法、並びにプログラム
JP5381459B2 (ja) * 2009-07-27 2014-01-08 富士通株式会社 動画像編集装置、動画像編集方法及び動画像編集用コンピュータプログラム
CA2798008C (en) 2010-05-06 2015-10-20 Nippon Telegraph And Telephone Corporation Method for controlling video encoding if a decoder underflow condition is detected
CA2798012A1 (en) * 2010-05-07 2011-11-10 Nippon Telegraph And Telephone Corporation Video encoding to prevent decoder buffer underflow by re-encoding selected pictures in a video sequence using a retry count or a retry point
CN102870415B (zh) 2010-05-12 2015-08-26 日本电信电话株式会社 活动图像编码控制方法、活动图像编码装置以及活动图像编码程序
JP2012138661A (ja) * 2010-12-24 2012-07-19 Sony Corp 画像処理装置および方法
US10230595B2 (en) * 2016-06-09 2019-03-12 International Business Machines Corporation Method and system for monitoring networks with variable, virtual service rates

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999005864A1 (fr) * 1997-07-25 1999-02-04 Sony Corporation Dispositif d'edition, procede d'edition, dispositif d'epissage, procede d'epissage, dispositif de codage et procede de codage
JP2001197504A (ja) * 1999-11-02 2001-07-19 Matsushita Electric Ind Co Ltd 映像編集装置、映像編集方法及びそのプログラムを記録した記録媒体
JP2002176648A (ja) * 1997-06-19 2002-06-21 Victor Co Of Japan Ltd バッファ管理方法
JP2002320228A (ja) * 2001-02-21 2002-10-31 Sony United Kingdom Ltd 信号処理装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997039588A1 (en) 1996-04-12 1997-10-23 Sony Corporation Image encoder, image encoding method and medium on which image encoding program is recorded
AU5546596A (en) 1996-04-16 1997-11-07 Phran-Tek, Ltd. Shield for concealing operation of a keypad
JPH09282762A (ja) 1996-04-16 1997-10-31 Nippon Columbia Co Ltd ディスクローディング装置
JP3668556B2 (ja) 1996-06-13 2005-07-06 ソニー株式会社 ディジタル信号符号化方法
JP3709721B2 (ja) * 1997-10-03 2005-10-26 ソニー株式会社 符号化ストリームスプライシング装置及び符号化ストリームスプライシング方法、符号化ストリーム生成装置及び符号化ストリーム生成方法、並びに情報処理装置及び方法
US6301428B1 (en) * 1997-12-09 2001-10-09 Lsi Logic Corporation Compressed video editor with transition buffer matcher
US6414998B1 (en) 1998-01-27 2002-07-02 Sony Corporation Method and apparatus for inserting an image material
JP4223567B2 (ja) * 1998-02-03 2009-02-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 符号化ビデオシーケンスの切り替え方法及び装置
US6611624B1 (en) * 1998-03-13 2003-08-26 Cisco Systems, Inc. System and method for frame accurate splicing of compressed bitstreams
US6269120B1 (en) * 1998-03-23 2001-07-31 International Business Machines Corporation Method of precise buffer management for MPEG video splicing
GB9908809D0 (en) * 1999-04-16 1999-06-09 Sony Uk Ltd Signal processor
GB2353653B (en) * 1999-08-26 2003-12-31 Sony Uk Ltd Signal processor
US6587506B1 (en) * 1999-11-02 2003-07-01 Matsushita Electric Industrial Co., Ltd. Video editing apparatus, video editing method, and data storage medium for a video editing program
US6522693B1 (en) * 2000-02-23 2003-02-18 International Business Machines Corporation System and method for reencoding segments of buffer constrained video streams
US7068719B2 (en) * 2001-06-01 2006-06-27 General Instrument Corporation Splicing of digital video transport streams
EP1786212A4 (en) 2004-08-25 2011-08-17 Sony Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, RECORDING MEDIUM AND PROGRAM

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176648A (ja) * 1997-06-19 2002-06-21 Victor Co Of Japan Ltd バッファ管理方法
WO1999005864A1 (fr) * 1997-07-25 1999-02-04 Sony Corporation Dispositif d'edition, procede d'edition, dispositif d'epissage, procede d'epissage, dispositif de codage et procede de codage
JP2001197504A (ja) * 1999-11-02 2001-07-19 Matsushita Electric Ind Co Ltd 映像編集装置、映像編集方法及びそのプログラムを記録した記録媒体
JP2002320228A (ja) * 2001-02-21 2002-10-31 Sony United Kingdom Ltd 信号処理装置

Also Published As

Publication number Publication date
US8311104B2 (en) 2012-11-13
KR20070022616A (ko) 2007-02-27
CN1937777A (zh) 2007-03-28
KR101450864B1 (ko) 2014-10-15
US20070041441A1 (en) 2007-02-22
JP2007059996A (ja) 2007-03-08
CN1937777B (zh) 2010-05-12

Similar Documents

Publication Publication Date Title
JP4088800B2 (ja) 編集装置および編集方法
JP4492484B2 (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4221676B2 (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4743119B2 (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US7539347B2 (en) Information processing apparatus and information processing method, recording medium, and program
KR100834322B1 (ko) 이미지 인코딩 장치, 화상 인코딩 방법 및 이미지 편집장치
JPH1188874A (ja) 符号化装置における編集可能点挿入方法および符号化装置
JP4174728B2 (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP3182329B2 (ja) 符号化データ編集装置とデータ復号装置
JP4736918B2 (ja) デジタル再生装置または再生プログラム
JP2008258858A (ja) 動画像符号化装置
JP4333522B2 (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP2001157161A (ja) 画像編集装置、画像編集方法及びプログラム記録媒体
JP2000333105A (ja) 画像圧縮データ記録装置及び画像圧縮データ記録・再生装置
JP2008136001A (ja) 符号化方式変換装置
JP2005328434A (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP2006067098A (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP2008066846A (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090305

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100316

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100329

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees