JP4362510B2 - 録画再生編集装置 - Google Patents

Description

本発明はフレーム間符号化により圧縮化された動画像データを録画、再生及び編集する録画再生編集装置に関する。

MPEG、H.263等の動画像の圧縮化技術では、フレーム間予測を用いたフレーム間符号化技術が用いられる。フレーム間符号化技術では、ＧＯＰ（Group of Pictures）と称される複数の画像フレームから構成されるレイヤを用いる。

図８に示すように、ＧＯＰは、イントラ符号化フレーム（Ｉフレーム）Ｉ１、Ｉ２と順方向予測符号化フレーム（Ｐフレーム）Ｐ１、Ｐ２と双方向予測符号化フレーム（Ｂフレーム）Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６の３種類のフレームから構成される。Ｉフレームは、フレーム間符号化を用いないで、その代わりにフレーム内符号化を用いる。Ｉフレームは、各ＧＯＰの先頭に必ず挿入される。Ｐフレームは、過去のフレームからフレーム間予測を行った差分を符号化したものである。Ｂフレームは過去と未来のフレームからフレーム間予測を行った差分を符号化したものである。

図示のように元の画像フレームは、Ｉ１、Ｂ１、Ｂ２、Ｂ３、Ｐ１、Ｂ４、Ｂ５、Ｂ６の順に配列されていると仮定する。符号化側では、数字にて示すように、Ｉ１、Ｐ１、Ｂ１、Ｂ２、Ｂ３、Ｐ２の順に符号化が行われ、復元側では同様な順で復号化が行われた後に、元のフレーム順に並び替えられて、再生される。

図９Ａに示すように、通常の再生では、全てのフレームが復号化され、並び替えられて再生されるが、図９Ｂに示すように、早送りでは、Ｉフレームのみが復号化され、図９Ｃに示すように、逆送りでは、Ｉフレームのみが復号化される。しかしながら、いずれの場合も、アクセスポイント近くのＩフレームから開始される。即ち、Ｉフレームは、ランダムアクセスのアクセスポイント（頭だし）として使用される。
特開2002-300526号公報

Ｉフレームは、フレーム内符号化を用いる静止画モードであり、他のフレームに比べて符号化効率が悪く情報量が大きい。従って、Ｉフレームは、各ＧＯＰの先頭に必ず挿入されるが、頻繁に用いることはできない。Ｉフレームの挿入間隔が長い場合には、その間のランダムアクセスのアクセスポイントを得ることができない。

特開2002-300526号公報「ストリーム編集装置及びストリーム編集方法」には、GOP単位に依存しない編集方式が発案されている。この公報に記載された例では、GOP単位未満の範囲にて編集を行うことが可能であるが、編集点（編集開始位置、終了位置）を選択することは特に検討されていない。なぜなら、DVD再生装置等の高性能な機器では、フレーム単位で編集点を選択するのは容易だからである。例えば、ユーザが指定したいフレームまで、早送り、コマ送りを用い編集点を選択する場合、すべてのフレームをデコードし、表示しても処理速度が速い為ユーザを待たせたり、画像の表示が遅れるという問題がない。

しかしながら、携帯端末のように信号処理能力が低い機器では、すべてのフレームをデコードする早送りを行うと画像の表示が遅れるといった問題がある。

本発明の目的は、信号処理能力が低くても、フレーム間符号化により圧縮化された動画像データをランダムアクセスすることができる録画再生編集装置を提供することにある。

本発明によると、録画再生編集装置は、フレーム間予測により圧縮した画像データを入力する画像データ入力部と、該画像データの各ファイル中に含まれるＩフレーム数又はＩフレームの挿入間隔の基づいて参照画像フレーム列を作成するか否かを判定する参照画像フレーム列作成判定部と、該参照画像フレーム列作成判定部により参照画像フレーム列を作成すると判定された場合には、Ｉフレームに対して画像フレームを追加してＩフレームと追加画像フレームからなる参照画像フレーム列を作成する参照画像フレーム列作成部と、を有する。

本発明は、編集やトリック動作を行う場合には、ユーザは必ず一度は、画像データを早送り又は逆送りすることを前提とする。そのために、画像データを入手すると、参照画像フレーム列を作成しそれを参照画像フレーム列記憶部に記憶する。ユーザが、画像データを早送り又は逆送りしたとき、参照画像フレーム列を表示するから、編集の位置指定が容易となる。

本発明によると、ファイル中のＩフレーム数が少なく、又は、Ｉフレームの挿入間隔が広い場合であっても、全てのフレームを再エンコードする必要はなく、処理の負荷を軽減することができる。例えば、携帯端末のように処理能力が低い機器でも、編集作業をスムーズに実行することができる。

本発明による録画再生編集装置の例を示すブロック図である。 ファイルフォーマットの例を示す図である。 本発明の録画再生編集装置による参照画像フレーム列作成の処理の手順を示す図である。 参照画像フレーム列を作成するか否かを判定する処理の手順を示す図である。 参照画像フレーム列を作成する処理の具体例を説明するための説明図である。 本発明の録画再生編集装置による編集処理の手順を示す図である。 編集処理の具体例を説明するための説明図である。 ＧＯＰの内容を説明するための説明図である。 通常再生、早送り及び逆送りを説明するための説明図である。

符号の説明

１…画像データ入力部、２…記憶部、３…多重分離部、４…画像圧縮・伸長部、５…管理情報処理部、６…参照画像フレーム列作成判定部、７…参照画像フレーム列作成部、８…参照画像フレーム列記憶部、９…画像データバッファ、１０…表示部

図１を参照して本発明による録画再生編集装置の構成例を説明する。本例の録画再生編集装置は、外部から有線又は無線により画像データを入力する画像データ入力部１、画像データ入力部１を介して入力した画像データのファイルを記憶する記憶部２、記憶部２に記憶された画像データのファイルから管理情報部分と画像・音声等のデータ部分を分離する多重分離部３、多重分離部３によって分離された画像・音声データを表示部にて表示することができるデータ形式にデコードする画像圧縮・伸長部４、多重分離部３によって分離されたファイルの管理情報を取得する管理情報処理部５、参照画像フレーム列を作成すべきか否かを判定する参照画像フレーム列作成判定部６、参照画像フレーム列を作成すべきであると判定したとき、Ｉフレームと追加画像フレームからなる参照画像フレーム列を生成する参照画像フレーム列作成部７、参照画像フレーム列を記憶する参照画像フレーム列記憶部８、画像圧縮・伸長部４によってデコードされた画像・音声データを一時的に記憶する画像データバッファ９、及び、画像を表示する表示部１０を有する。

表示部１０はＣＲＴ、液晶モニタ等であってよい。記憶部２は、半導体メモリ、ハードディスク、光ディスク等であってよい。参照画像フレーム列記憶部８は、参照画像フレーム列を圧縮して記憶するが、圧縮方法及び形式はどのようなものであってもよい。尚、通常、画像データバッファ９は、画像圧縮・伸長部４に含まれるが、ここでは、説明の都合上、別個の構成として説明する。

本例の録画再生編集装置は、更に、ユーザが操作する操作部、ＤＣＴ変換部、エントロピー符号化部、録画再生編集装置の各部を制御する制御部、等を有するが、説明の簡略化のためにそれらの記載を省略する。本例の録画再生編集装置は、携帯電話等の携帯端末であってよいが、携帯端末以外の機器であってもよい。

本例によると、画像データ入力部１が画像データを入力すると、自動的に、参照画像フレーム列の作成処理を開始する。参照画像フレーム列作成判定部６は、ファイル中のＩフレームの総数が基準値より少ない場合、又は、Ｉフレームの挿入間隔が基準値より大きい場合には、参照画像フレーム列を作成すると判定する。参照画像フレーム列を作成すると判定した場合には、Ｉフレーム列に対する画像フレームの挿入位置を算出する。参照画像フレーム列作成部７は、Ｉフレーム列に対して画像フレームを挿入することによりＩフレームと追加画像フレームからなる参照画像フレーム列を生成する。参照画像フレーム列記憶部８は、参照画像フレーム列を記憶する。尚、ここでは、参照画像フレーム列作成判定部６が画像フレームの挿入位置を算出するとして説明するが、参照画像フレーム列作成部７が、画像フレームの挿入位置を算出してもよい。

こうして、参照画像フレーム列記憶部８には、自動的に、参照画像フレーム列が用意される。ユーザが、画像データを早送り又は逆送りするとき、参照画像フレーム列記憶部８に記憶された参照画像フレーム列が表示部１０に表示される。

図２を参照して、画像データのファイルの構成例を説明する。ファイルはヘッダ部２１０とデータ部２２０を含む。ヘッダ部２１０は、ファイルの再生時間、Ｉフレームの総数、Ｉフレームの挿入間隔、画像サイズ、音声の有無、コーデック情報等の管理情報を含む。データ部２２０は、画像データ、音声データ、テキストデータ等の画像・音声情報を含む。

図３を参照して、本発明の録画再生編集装置による参照画像フレーム列の作成の動作を説明する。ここでは、録画再生編集装置は、携帯電話等の携帯端末であるとして、説明する。先ずステップS１１にて、携帯端末の画像データ入力部１は、外部から多重化された画像データのファイルを取得し、それを記憶部２に記憶する。次に、ステップS１２にて、多重分離部３は、記憶部２に記憶されているファイルから管理情報部分を含むヘッダ部２１０と画像・音声等のデータを含むデータ部２２０を分離し、データ部２２０を画像圧縮・伸長部４へ、ヘッダ部２１０を管理情報処理部５へ送る。

ステップS１３にて、管理情報処理部５は多重分離部３から取得した管理情報部分からファイルの情報を取得し、それを参照画像フレーム列作成判定部６へ送る。

ステップS１４にて、参照画像フレーム列作成判定部６は管理情報処理部５から送られた画像及び音声の情報を取得し、参照画像フレーム列を作成するか否かの判定を行う。ステップS１４の詳細は、図４を参照して説明する。参照画像フレーム列を作成すると判定した場合には、ステップS１５に進み、参照画像フレーム列を作成しないと判定した場合には、この処理を終了する。

ステップＳ１５にて、追加画像フレームの位置又は時間を算出する。上述のように、追加画像フレームの位置の算出処理は、参照画像フレーム列作成判定部６又は参照画像フレーム列作成部７が行う。ステップS１６にて、画像圧縮・伸長部４は、多重分離部３から取得した画像・音声のデータを表示部１０に表示するためのデータにデコードし、それを画像データバッファ９に送る。

ステップS１７にて、参照画像フレーム列作成部７は、参照画像フレーム列を作成する。先ず、画像データバッファ９から画像フレーム列を入手し、追加画像フレームの位置又は時間に基づいて、追加画像フレームを作成する。次に、画像データバッファ９から入手したＩフレーム列に、追加画像フレームを挿入する。それにより、参照画像フレーム列が生成される。更に、Ｉフレーム及び追加画像フレームからなる参照画像フレーム列にＰフレームを追加して第２の参照画像フレーム列を作成する。

ステップS１８にて、参照画像フレーム列記憶部８は、こうして作成した参照画像フレーム列を記憶する。本例の録画再生編集装置によると、ファイル内のＩフレームの総数が不十分であっても、又は、Ｉフレームの挿入間隔が大きくても、画像フレームを追加し挿入するから、ランダムアクセスにおける位置指定が可能となる。

本例では、携帯端末が、外部から画像ファイルを取得すると、自動的に、参照画像フレーム列の作成処理を行う。即ち、携帯端末は、外部から画像ファイルを取得すると、ユーザが編集処理、早送り・逆送り処理を実行するであろうと仮定し、編集処理がスムーズに行われるように、参照画像フレーム列の作成処理を行う。

図４を参照して、ステップS１４の参照画像フレーム列を作成するか否かを判定する処理の詳細を説明する。ステップＳ１４１にて、参照画像フレーム列作成判定部６は、ファイル内のＩフレーム総数が基準値未満であるか否かの判定を行う。ファイル内のＩフレーム数が基準値未満である場合には、ステップＳ１４４に進み、ファイル内のＩフレーム数が基準値未満でない場合には、ステップＳ１４２へ進む。例えば、Ｉフレーム数が基準値が５であり、ファイル内のＩフレームの総数が６の場合、ステップＳ１４２へ進み、ファイル内のＩフレームの総数が１の場合、ステップＳ１４４に進む。

ステップＳ１４２にて、ファイル内のＩフレームの挿入間隔が基準値未満であるか否かの判定を行う。Ｉフレームの挿入間隔が基準値未満である場合には、ステップＳ１４３へ進み、Ｉフレームの挿入間隔が基準値未満でない場合には、ステップＳ１４４へ進む。例えば、Ｉフレーム数が基準値が５であり、Ｉフレームの総数が６であっても、Ｉフレームの挿入間隔が等間隔ではない場合、Ｉフレームの挿入間隔が基準値より大きくなる場合がある。この場合には、ステップＳ１４４に進む。例えば、Ｉフレーム数が基準値が５であり、Ｉフレームの総数が６であり、且つ、Ｉフレームの挿入間隔が基準値より小さい場合には、ステップＳ１４３に進む。

ステップＳ１４３にて、参照画像フレーム列の作成は行わないと判定する。即ち、ファイル内のＩフレーム総数が基準値未満ではなく、且つ、Ｉフレームの挿入間隔が基準値未満である場合には、Ｉフレームが十分であり、参照画像フレーム列の作成は行わないと判定する。ステップＳ１４４にて、参照画像フレーム列の作成を行うと判定する。即ち、ファイル内のＩフレーム総数が基準値未満であり、又は、Ｉフレームの挿入間隔が基準値未満でない場合には、Ｉフレームが不十分であり、参照画像フレーム列を作成すると判定する。

ステップＳ１４１、及びステップＳ１４２で用いるＩフレーム総数の基準値とＩフレーム間隔の基準値は、携帯端末により自動的に設定されてよく、又は、ユーザが指定してもよい。例えば、Ｉフレーム及び追加画像フレームが通常より多いほうが良い場合には、基準値を変更すればよい。本発明を利用する携帯端末等の性能やリソースに適合するように基準値を変更すればよい。

図５を参照して、ステップＳ１４及びステップＳ１５の処理の具体的な例を説明する。図内の▲はＩフレームを示し、△は追加画像フレームを示し、数字は秒数を示す。ファイルの再生時間は60秒、Ｉフレームの総数の基準値は５、フレーム間隔の基準値は20秒であると仮定する。

図５Ａの例を説明する。本例では、ファイルの先頭に１個のＩフレームのみが含まれる。従って、Ｉフレームの総数は基準値５より少ないから、ステップＳ１４にて参照画像フレーム列を作成すると判定する。ステップＳ１５にて、Ｉフレーム列に４個の画像フレームを追加する。それによりＩフレーム及び追加画像フレームの総数は５個となり、基準値５に等しくなる。４個の追加画像フレームの位置は、全てのフレームの挿入間隔が基準値より小さくなるように、設定する。本例の場合、５個のフレームが等間隔となるように、配置すればよい。

図５Ｂの例を説明する。本例では、ファイル内に６個のＩフレームを含むから、Ｉフレームの総数は基準値５より多い。しかしながら、６個のＩフレームは等間隔ではない。ファイルの前半の10秒の間に５個のＩフレームが含まれ、ファイルの最後に１個のＩフレームが含まれる。従って、ファイルの後半では、Ｉフレームの挿入間隔は、５０秒となり、基準値２０秒より大きい。従って、ステップＳ１５に進む。

ステップＳ１５にて、２個の画像フレームを追加する。２個の追加画像フレームの位置は、全てフレームの挿入間隔が基準値に等しいか又は小さくなるように、設定する。本例の場合、ファイルの後半にて、フレームの挿入間隔が、２０秒及び１０秒となるように設定する。それにより、全てのフレームの挿入間隔は、基準値と等しいか又は小さくなる。

追加画像フレームの挿入位置の設定方法は、上述の例に限定されない。例えば、５０秒の間隔を先頭から順に、基準値の20秒毎に追加画像フレームを挿入してもよい。あるいは50秒の間隔を20秒未満の間隔になるよう等分してもよい。例えば、３等分なら、17秒毎に追加画像フレームを挿入し、４等分なら、12秒毎に追加画像フレームを挿入する。

図６を参照して、本発明の録画再生編集装置によるファイルの編集の動作を説明する。ここでは、録画再生編集装置は、携帯電話等の携帯端末であるとして、説明する。編集動作の前提として、図３及び図４に示した参照画像フレーム列の作成処理が終了しており、参照画像フレーム列記憶部８には、図５に示したように、Ｉフレームと追加画像フレームからなる参照画像フレーム列が記憶されているものとする。

先ずステップS２１にて、ユーザがファイルの再生中に編集機能を選択する。即ち、録画再生編集装置は、ユーザからの編集要求を入力する。ステップS２２にて、ユーザは編集位置、即ち、編集の開始点及び終了点の選択を行う。ユーザは、編集位置を選択するために、早送り、又は、逆送りを行う。早送りの場合、通常、図９Ｂに示したように、Ｉフレームのみを表示する。しかしながら、本例では、参照画像フレーム列記憶部８に記憶された参照画像フレーム列を表示する。即ち、Ｉフレームと追加画像フレームからなるフレーム列を表示する。逆送りの場合、通常、図９Ｃに示すように、Ｉフレームのみを表示する。しかしながら、本例では、参照画像フレーム列記憶部８に記憶された参照画像フレーム列を表示する。即ち、Ｉフレームと追加画像フレームからなるフレーム列を表示する。

こうして、ユーザは、逆送り、又は、早送りにより表示されたフレームを観察しながら、編集位置を選択する。編集位置は、フレーム単位にて選択される。ステップS２３にて、画像編集再生装置はユーザが選択した編集位置のフレームからの編集処理を行う。

図７を参照して、編集処理の例を説明する。▲はＩフレーム、△は追加画像フレーム、▽はユーザが選択した編集位置を示す。図示のように、参照画像フレーム列作成処理によってＩフレームに対して追加画像フレームが付加されているものとする。

図７Ａは、ユーザが指定した編集開始点と編集終了点がＩフレーム又は追加画像フレームと一致している場合を示す。この場合、再エンコードは行わず、編集開始点と編集終了点の間にて、データの切り出し処理を行う。

図７Ｂは、ユーザが指定した編集開始点と編集終了点がＩフレーム及び追加画像フレームのいずれからもずれている場合を示す。この場合、編集開始点の直前のＩフレーム又は追加画像フレームから編集開始点まで（図７Ｂの太線部）デコードを行い、編集開始点における画像フレームを取得する。次に、編集開始点の画像フレームから次のＩフレーム又は追加画像フレームまで（図７Ｂの縦線部）再エンコードを行う。その後、編集終了点までは再エンコードは行わず、データの結合のみを行う。こうして、再エンコードの量を減らし、処理を軽くすることができる。

以上、本発明の例を説明したが、本発明は上述の例に限定されるものではなく、特許請求の範囲に記載された発明の範囲にて、様々な変更が可能であることは、当業者に理解されよう。

Claims (12)

1. フレーム間予測により圧縮した画像データを入力する画像データ入力部と、該画像データの各ファイル内のＩフレーム数が所定の基準値未満である場合、又は、ファイル内の隣接するＩフレームの挿入間隔が所定の基準値未満でない場合に、参照画像フレーム列を作成すると判定する参照画像フレーム列作成判定部と、該参照画像フレーム列作成判定部により参照画像フレーム列を作成すると判定された場合には、各ファイル内のＩフレーム及び追加画像フレームの総数が所定の基準値以上となるように、又は、ファイル内の隣接するＩフレームと追加画像フレームの間隔又は隣接する追加画像フレーム同士の間隔が所定の基準値未満となるように、Ｉフレームに対して画像フレームを追加してＩフレームと追加画像フレームからなる参照画像フレーム列を作成する参照画像フレーム列作成部と、を有することを特徴とする録画再生編集装置。
2. 上記参照画像フレーム列作成判定部又は上記参照画像フレーム列作成部は、参照画像フレーム列を作成すると判定したとき、Ｉフレーム列における追加画像フレームの挿入位置を算出することを特徴とする請求項１記載の録画再生編集装置。
3. 上記参照画像フレーム列作成部によって作成された上記参照画像フレーム列を記憶する参照画像フレーム列記憶部を有することを特徴とする請求項１記載の録画再生編集装置。
4. ユーザから逆送りの指示を入力したとき、上記参照画像フレーム列作成部によって作成された上記参照画像フレーム列を表示することを特徴とする請求項１記載の録画再生編集装置。
5. 上記参照画像フレーム列作成部によって作成された上記Ｉフレームと追加画像フレームからなるフレーム列にＰフレームを追加したフレーム列を表示することを特徴とする請求項１記載の録画再生編集装置。
6. ユーザから編集の開始点及び終了点を入力したとき、上記編集の開始点及び終了点が上記参照画像フレーム列作成部によって作成された参照画像フレーム列のＩフレームと追加画像フレームのいずれかである場合には、上記編集の開始点と終了点の間のフレーム列を切り出すことを特徴とする請求項１記載の録画再生編集装置。
7. ユーザから編集の開始点及び終了点を入力したとき、上記編集の開始点及び終了点が上記参照画像フレーム列作成部によって作成された参照画像フレーム列のＩフレーム又は追加画像フレームでない場合には、上記編集の開始点の前であって且つそれに最も近いＩフレーム又は追加画像フレームから上記編集の開始点までデコードし、上記編集の開始点から、上記編集の開始点の後であり且つそれに最も近いＩフレーム又は追加画像フレームまでを再エンコードし、上記再エンコードの終了点であるＩフレーム又は追加画像フレームから上記編集の終了点までは、再エンコードを行わず、データの結合のみを行うことを特徴とする請求項１記載の録画再生編集装置。
8. 上記参照画像フレーム列作成部は、上記画像データ入力部が画像データを入力したときに、ユーザから指示がなくても自動的に上記参照画像フレーム列作成の動作を実行することを特徴とする請求項１記載の録画再生編集装置。
9. 外部から画像データを入力する画像データ入力部と、該画像データ入力部を介して入力した画像データのファイルを記憶する記憶部と、該記憶部に記憶された画像データのファイルから管理情報部分と画像・音声等のデータ部分を分離する多重分離部と、該多重分離部によって分離された画像・音声データをデコードする画像圧縮・伸長部と、上記多重分離部によって分離されたファイルの管理情報をデコードする管理情報処理部と、画像データの各ファイル内のＩフレーム数が所定の基準値未満である場合、又は、ファイル内の隣接するＩフレームの挿入間隔が所定の基準値未満でない場合、参照画像フレーム列を作成すると判定する参照画像フレーム列作成判定部と、該参照画像フレーム列作成判定部によって参照画像フレーム列を作成すると判定されたとき、各ファイル内のＩフレーム及び追加画像フレームの総数が所定の基準値以上となるように、又は、ファイル内の隣接するＩフレームと追加画像フレームの間隔又は隣接する追加画像フレーム同士の間隔が所定の基準値未満となるように、Ｉフレーム列に対して画像フレームを挿入することによりＩフレームと追加画像フレームからなる参照画像フレーム列を生成する参照画像フレーム列作成部と、上記参照画像フレーム列を記憶する参照画像フレーム列記憶部と、上記画像圧縮・伸長部によってデコードされた画像・音声データを一時的に記憶する画像データバッファと、画像を表示する表示部と、を有する録画再生編集装置。
10. フレーム間予測により圧縮した画像データを入力する画像データ入力ステップと、該画像データのファイルを記憶する記憶ステップと、該記憶された画像データのファイルからファイルの管理情報と画像及び音声データを分離する多重分離ステップと、上記分離された画像及び音声データをデコードする画像圧縮・伸長ステップと、上記分離されたファイルの管理情報を処理する管理情報処理ステップと、上記処理された結果に基いて、画像データの各ファイル内のＩフレーム数が所定の基準値未満である場合、又は、ファイル内の隣接するＩフレームの挿入間隔が所定の基準値未満でない場合に、参照画像フレーム列を作成すると判定する参照画像フレーム列作成判定ステップと、該参照画像フレーム列作成判定ステップにて参照画像フレーム列を作成すると判定したとき、各ファイル内のＩフレーム及び追加画像フレームの総数が所定の基準値以上となるように、又は、ファイル内の隣接するＩフレームと追加画像フレームの間隔又は隣接する追加画像フレーム同士の間隔が所定の基準値未満となるように、各ファイルのＩフレームに対して追加画像フレームを挿入し、Ｉフレームと追加画像フレームからなる参照画像フレーム列を作成する参照画像フレーム列作成ステップと、を有する録画再生編集方法。
11. 請求項１０記載の録画再生編集方法をコンピュータに実行させるためのコンピュータプログラム。
12. 請求項１１記載のコンピュータプログラムを記録した記録媒体。

Images