JP2005354624A

JP2005354624A - 動画処理装置、動画処理方法およびコンピュータプログラム

Info

Publication number: JP2005354624A
Application number: JP2004176001A
Authority: JP
Inventors: Yasuhiro Yokota; 安宏横田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-06-14
Filing date: 2004-06-14
Publication date: 2005-12-22

Abstract

【課題】動画ファイルを構成する所望のフレームデータを抽出しやすくする。
【解決手段】検索抽出する際に役立つインデックス情報１〜Ｎをフレームデータと関係付けて保存しておき、動画再生、編集または印刷の際には、インデックス情報のリストを提示することで、いずれかのインデックス情報に対応するフレームデータを容易に抽出することができる。また、所望のフレームデータについて、当該フレームデータを削除することが指示されたときの処理を予め指定する削除制御情報を作成しておくことで、フレームデータ単位で編集属性を付すことができるようになる。
【選択図】図４

Description

本発明は、動画ファイルから所望のフレームを呼び出して再生、編集又は印刷する技術に関する。

動画ファイルから所望のフレームを呼び出して再生、編集又は印刷する技術として、従来、次の技術が知られている。

特許文献１によれば、記録動画の中から時間的に等間隔に抽出した画像と、その位置を示すバーコードとを印刷媒体に印刷し、その印刷物のバーコードを光学式スキャナにより読み取ることで、対応する画像を効率よく読み出す技術が提案されている。

特許文献２によれば、動画データに含まれる印刷対象画像のコマ番号を指定して記憶しておき、印刷時にそのコマ番号を指定することで、印刷対象画像を効率よく取り出して印刷する方法が提案されている。

特許文献３によれば、動画から、ビデオアルバムに表示する静止画のサムネイルを作成し、作成されたサムネイルとともにタイムコード、録画日時、ビデオテープ残量および録画場所などの補助情報を印刷する技術が提案されている。
特開平６−８３８７７号公報。特開２００１−２５１５７３号公報。特開平２００３−６１０４０号公報。

上記特許文献１によれば、印刷されたバーコードを光学式スキャナにより読み取ることで動画を検索できるが、バーコードは単なる時間位置を表しているに過ぎず、バーコードとともに印刷されている画像がどのようなものを意味しているかを把握しにくい。よって、類似した画像が複数印刷されている場合はユーザがそれらを明確に区別できず、所望の画像になかなかたどり着けないおそれがある。しかもバーコードと画像データとは一対一の関係にあるため、あるテーマに関する複数の画像を一度に抽出して印刷または表示することができない。

特許文献２によれば、コマ番号を指定することでコマ番号と一対一で対応している画像を特定できるが、コマ番号だけではどのような画像であるかを思い出すことは不可能であり、所望の画像になかなかたどり着けないおそれがある。また、あるテーマに関する複数の画像を一度に抽出して印刷または表示することができない。

特許文献３によれば、サムネイルとともにタイムコード、録画日時、ビデオテープ残量および録画場所の補助情報も印刷されるが、これらの補助情報は、サムネイル内容を直感的に連想しにくい情報であり、依然として、サムネイルの内容を把握しにくく、所望の画像になかなかたどり着けないおそれがある。また、あるテーマに関する複数の画像を一度に抽出して印刷または表示することができない。

ところで、動画ファイルに含まれる特定のフレームデータ等について、その編集処理を制限したい場合がある。しかしながら、従来は、ファイル単位で読み出し専用の属性を付すことができるだけで、フレームデータ単位では編集制限を付すことができなかった。

そこで、本発明は、このような課題および他の課題の少なくとも一つを解決することを目的とする。なお、他の課題については明細書の全体を通して理解できよう。

上記課題を解決すべく、本発明によれば、動画ファイルを構成する複数のフレームデータから任意のフレームデータを指定して、当該フレームデータを連想しやすいコメントやアイコンなど、検索抽出する際に役立つインデックス情報を作成する。動画ファイルに含まれる所望のフレームデータを呼び出して、再生、印刷または編集する際に、インデックス情報に関するリストを作成し、そのリストから所望のインデックス情報を選定し、選定されたインデックス情報に対応するフレームデータを抽出する。あるいは、所望のフレームデータを検索抽出する際には、入力された検索キー情報と関連性のあるインデックス情報と、当該インデックス情報に対応するフレームデータとが検索抽出される。そして、抽出されたフレームデータを印刷出力または表示出力する。

また、所望のフレームデータについて、当該フレームデータの削除が指示されたときの処理を予め指定する削除制御情報を作成し保存しておいてもよい。

以上説明したように、本発明では、検索抽出する際に役立つインデックス情報をフレームデータと関係付けて保存しておき、動画再生、編集または印刷の際には、インデックス情報のリストを提示することで、いずれかのインデックス情報に対応するフレームデータを容易に抽出することができる。また、あるテーマに関して入力された検索キー情報と関連性のあるインデックス情報に対応付けられたフレームデータを検索抽出して印刷または表示するようにしたので、あるテーマに関連性のある画像データを一度に抽出して印刷または表示することができる。すなわち、ある動画ファイルについて、特定のテーマに関連するシーン（画像）だけのインデックスを効率よく作成できる。

また、所望のフレームデータについて、当該フレームデータを削除することが指示されたときの処理を予め指定する削除制御情報を作成しておくことで、フレームデータ単位で編集属性を付すことができるようになる。

以下に本発明の上位概念、中位概念および下位概念の理解に役立つ一実施形態を示す。なお、以下の実施形態に含まれる概念について、そのすべてが特許請求の範囲に記載されているとは限らない。ただし、これは特許発明の技術的範囲から意識的に除外したのではなく、特許発明と均等の関係にあるため特許請求の範囲には記載していない場合があることを理解していただきたい。

［第１の実施形態］
図１は、第１の実施形態に係る動画処理装置のハードウエア構成例を示すブロック図である。１０１は、本発明の動画処理装置を示す。１０２は中央処理装置（ＣＰＵ）である。中央処理装置１０２は、後述する各種の処理を実行するハードウエア上の動作主体である。主記憶装置１０３は、ＲＡＭ等により構成された記憶手段である。主記憶装置１０３は、外部記憶装置１０６から読み込んだオペレーティングシステム（ＯＳ）やコンピュータプログラムがロードされるとともに、プログラムの作業エリアとして利用される。１０４は、ＬＣＤなどの表示装置である。各種プログラムの実行中に、画面表示などを行なうために利用される。１０５は、各種プログラムに対する操作入力や、動画処理装置に対する指示を行なうために利用される入力装置である。例えば、キーボード、ポインティングデバイス、または音声認識装置などであり、中央処理装置１０２に対して各種の情報を入力する。外部記憶装置１０６は、ＯＳ、各種プログラムおよび動画ファイルやインデックステーブル等を格納するために利用されるハードディスクドライブ、光ディスク装置などの記憶手段である。１０７は、動画処理装置１０１のバスであり、上記構成要素間でデータや信号を授受するために利用される。１０８は、動画処理装置１０１に接続される印刷装置であり、動画ファイルの中から選択された静止画像（フレームデータ）を印刷するために利用される。

上記構成を有する動画処理装置１０１において、中央処理装置１０２は、外部記憶装置１０６に格納されている動画ファイルを読み出して主記憶装置１０３に格納し、その動画ファイルの再生と編集を行なう。編集後の動画ファイルは外部記憶装置１０６に格納する。

図２は、本実施形態に係る動画処理装置の制御機能を示す基本的な機能ブロック図である。以下で説明する各機能は、上述の中央処理装置１０２と各種コンピュータプログラムによって実現されるものである。しかしながら、以下の機能を、論理回路等により実現してもよいことはいうまでもない。

動画再生部２０１は、外部記憶装置１０６に格納されている動画ファイルを読み出して再生し、表示装置１０４に出力する。動画編集部２０２は、動画再生部２０１により再生されている動画ファイルや、外部記憶装置１０６に格納されている動画ファイルを編集する。動画書込み部２０３は、動画編集部２０２により編集された動画ファイルを外部記憶装置１０６に格納するための制御を行なう。通知部２０４は、動画編集部２０２が編集処理中である場合に、その際の操作指示をユーザが選択できるようにするための情報を提供する。インデックス設定部２０５は、動画ファイルに含まれるの任意のフレームにインデックスとインデックス情報を設定する。インデックス書込み部２０６は、動画ファイルファイルの任意のフレームに設定されたインデックス情報を外部記憶装置１０６に格納する。インデックス読込み部２０７は、外部記憶装置１０６に格納されているインデックス情報の読み出しを制御する。インデックス解析部２０８は、インデックス読込み部２０７により読み出されたインデックス情報を解析し、インデックス番号等を抽出する。なお、インデックス解析部２０８は、読み出されたインデックス情報のリストを作成して、表示装置１０４に表示させてもよい。フレーム検索部２０９は、インデックス解析部２０８により求められたインデックス番号に対応するフレーム番号またはフレームデータを検索抽出する。２１０は、印刷指示部であり、フレーム検索部２０９により検索抽出されたフレームデータ（静止画像）に関する印刷指示を印刷装置１０８に出力する。

図３は、動画ファイルに含まれる任意のフレームに対してインデックスを設定した例を示す図である。同図において３０１はフレーム番号１を、３０２はフレーム番号２を、３０３はフレーム番号Ｘを、３０４はフレーム番号Ｙを、３０５はフレーム番号Ｚを示している。３０６はインデックス１であり、３０３のフレーム番号Ｘにインデックス情報を設定したことを示している。３０７はインデックス２であり、３０４のフレーム番号Ｙにインデックス情報を設定したことを示している。３０８はインデックスＮであり、３０５のフレーム番号Ｚにインデックス情報を設定したことを示している。

図４は、図３のフレームに設定されたインデックス情報の管理方法の一例を示す図である。インデックステーブル４０１は、動画ファイルのフレームに設定された全てのインデックスを管理するためのデータである。４０２はインデックス情報１であり、これはインデックステーブル４０１内のインデックス１に対付けられている。４０３はインデックス情報を構成する内部情報の一つであり、インデックス情報に対応するフレームのフレーム番号である。すなわち、このフレーム番号によってインデックスを設定されたフレームを特定することができる。４０４は、インデックス情報を構成する内部情報の一つであるコメントであり、ユーザが任意に設定できる文字列情報である。このコメントは、静止画像を印刷する際にタイトルとして使用されたり、動画ファイル内からのフレームを検索する場合に使用されたりする。

４０５はインデックス情報を構成する内部情報の一つであり、アイコンに関する情報である。この情報もユーザによって任意に設定できる。このアイコンは、動画ファイル内からフレームを選択する場合に、視覚的に検索し易くするために利用される。例えば、子供のモチーフを採用したアイコンであれば、子供に関する動画のフレームであることを認識しやすくなろう。４０６はインデックス情報を構成する内部情報の一つである音声メモである。音声情報４０６もまたユーザが任意に設定できる。この音声メモは、動画ファイル内のフレームに音声でメモを設定するために使うことができる。音声は、マイクとＡ／Ｄ変換回路を含む入力装置１０５から入力される。

４０７はインデックス情報を構成する内部情報の一つであり、動画編集中にフレームの削除指示が入力されたときの具体的な処理方法を予め指定する制御情報である。例えば、フレームデータだけでなくインデックス情報も含めて削除するように指定したり、インデックス情報のみの削除することを指定したり、インデックス情報およびフレームデータの双方とも削除を禁止したり、または操作者による指示にしたがって処理することを指定したりすることができる。

４０８はインデックス情報２であり、これはインデックステーブル４０１内のインデックス２に対する情報である。４０９はインデックス情報Ｎであり、これはインデックステーブル４０１内のインデックスＮに対する情報である。インデックス情報２〜Ｎについても、インデックス情報１と同様の情報が含まれている。

図５は、図４で示したインデックス情報の設定例を示す図である。フレーム番号５０１には、一例として１０００が設定されている。コメント５０２には、一例として「運動会の入場行進」といったテキストが設定されている。アイコン５０３には、一例として、「ｍａｒｃｈ．ｉｃｏ」が設定されている。音声メモ５０４には、一例として「ｍａｒｃｈ．ｗａｖ」が設定されている。削除時の制御情報５０５には、一例として、「ユーザが処理方法を選択」が設定されている。すなわち、フレーム１０００を削除しようとしたときの処理はユーザに選択させることを示している。

次のインデックス情報には一例として次のような情報が設定されている。フレーム番号５０６には２０００が設定されている。コメント５０７には「１００ｍ走」が設定されている。アイコン５０８には「Ｎｏｎｅ」、すなわちアイコンが設定されていないことを示している。音声メモ５０９には「Ｎｏｎｅ」、即ち音声メモが設定されていないことを示している。削除制御情報５１０には「インデックス情報もフレームも残す」と設定されている。すなわち、フレーム２０００を削除しようとした時は、フレーム２０００もインデックス情報も削除が禁止されることを示している。

さらに次のインデックス情報には一例として次のような情報が設定されている。フレーム番号５１１に３０００が設定されている。コメント５１２に「障害物競走」が設定されている。アイコン５１３にはＮｏｎｅが設定されている。音声メモ５１４には、Ｎｏｎｅが設定されている。削除制御情報５１５には「インデックス情報のみ削除する」が設定されている。すなわち、フレーム３０００を削除しようとした時は、フレーム３０００は削除しないが、フレームに設定したインデックス情報は削除することを示している。

図６は、実施形態に係る動画処理装置の例示的な制御手順を示すフローチャートである。この制御手順に関するプログラムコードは、主記憶装置１０３に格納されており、中央処理装置１０２がこのプログラムコードを実行することによって、上述した各機能部が実現される。このプログラムコードは、本実施形態の動画処理装置１０１が動画ファイルを読み込んで再生と編集を行い、動画ファイルの任意のフレームにインデックス情報を設定し、設定したインデックス情報を外部記憶装置１０６に格納するまでの制御手順に対応する。

ステップＳ６０１において、動画再生部２０１として機能する中央処理装置１０２は、外部記憶装置１０６からインデックステーブル４０１を読み込む。

ステップＳ６０２において、中央処理装置１０２は、読込んだ動画ファイルを再生する一方で、インデックス設定部２０５として機能する中央処理装置１０２は、入力装置１０５からの指定入力に応じて、インデックスを設定する対象となるフレームを選択する。

フレーム選択後、ステップＳ６０３において、中央処理装置１０２は、インデックス情報内のフレーム番号として、選択したフレームのフレーム番号を設定する。

ステップＳ６０４において、中央処理装置１０２は、入力装置１０５から入力された文字列をコメントとして設定する。

ステップＳ６０５において、中央処理装置１０２は、入力装置１０５から入力された文字列等に従ってアイコンのファイル名を設定する。

ステップ６０６において、中央処理装置１０２は、入力装置１０５から入力された音声等に従って音声メモとして音声ファイルを設定する。

ステップＳ６０７において、中央処理装置１０２は、入力装置１０５から入力されたフレームの削除時の処理方法を削除制御情報として設定する。

ステップＳ６０８において、中央処理装置１０２は、入力装置１０５からの入力された登録指示に従い、インデックス設定部２０５により設定されたインデックス情報をインデックステーブルに登録する。

ステップＳ６０９において、中央処理装置１０２は、フレームへのインデックス設定が全て終了したかどうかを判定する。例えば、入力装置１０５から明示的な終了指示が入力されるとインデックス設定の終了と判定する。まだ終了していないと判定した場合は、ステップ６０２に戻ってフレームの選択処理を繰り返す。

インデックスの設定処理が終了した場合は、ステップＳ６１０において、インデックス書き込み部２０６として動作する中央処理装置１０２は、インデックステーブル４０１とインデックス情報を外部記憶装置１０６に格納してインデックス設定処理を終了する。

図７は、実施形態に係る動画ファイル内の任意のフレームを印刷する処理の例示的な手順を示すフローチャートである。この処理に関するプログラムコードは主記憶装置１０３に格納されており、中央処理装置１０２がこのプログラムコードを実行することによって、上述の各部が実現される。

また、これらのプログラムコードは、本実施形態に係る動画処理装置１０１が動画ファイル、インデックステーブル及びインデックス情報を読み込み、動画ファイルに含まれる所望の印刷対象フレームを選択させ、選択されたフレームの静止画像を印刷装置１０８で印刷するまでの制御手順に対応する。

ステップＳ７００において、インデックス読込み部２０７として機能する中央処理装置１０２は、外部記憶装置１０６からインデックステーブル４０１を読み込む。

ステップＳ７０１において、インデックス解析部２０８として動作する中央処理装置１０２は、読み出されたインデックステーブル４０１に含まれる全てまたは一部のインデックス情報内に登録されているコメントのリストを作成し、表示装置１０４に出力する。多数のコメントが存在する場合は、一定の表示領域に表示可能な分だけを表示し、残りはスクロール処理等により表示してもよい。

ステップＳ７０２において、中央処理装置１０２は、入力装置１０５から何れかのコメントに対する選択指示が入力されたかどうかを判定する。要するに、表示されているコメントのリストの中からいずれかのコメントがユーザにより選択されるのを待つわけである。

いずれかのコメントが選択されたなら、ステップＳ７０３において、フレーム検索部２０９として動作する中央処理装置１０２は、選択されたコメントが含まれるインデックス情報内のフレーム番号を検索キーとして、印刷対象となるフレームを検索抽出する。

ステップＳ７０４において、中央処理装置１０２は、印刷対象となる全てのフレームが指定されたかどうかを判定する。例えば、中央処理装置１０２は、検索抽出されたフレームの画像と対応するインデックス情報とを表示装置１０４に出力する。これを確認したユーザにより、入力装置１０５から指定終了や印刷開始を意味する操作入力がなされると、中央処理装置１０２は、印刷対象となるすべてのフレームが指定されたと判定する。まだ印刷するフレームが残存しているならばステップ７０１に戻って再びコメントリストの中からコメントを選択する処理を繰り返す。

印刷対象となるフレームが全て指定しされたならば、ステップＳ７０５において、印刷指示部２１０として動作する中央処理装置１０２は、印刷対象として指定された全てのフレームの静止画像データを印刷装置１０８に出力し印刷処理を終了する。なお、中央処理装置１０２は、印刷対象フレームとともに対応するインデックス情報についても印刷指示してもよい。また、中央処理装置１０２は、これらを表示装置１０４に表示させてもよい。

図８は、動画ファイル内の任意のフレームを削除する処理の例示的な手順を示すフローチャートである。この処理のプログラムコードは主記憶装置１０３に格納されており、中央処理装置１０２がこのプログラムコードを実行することによって実現される上述の各部が実現される。

このプログラムコードは、中央処理装置１０２が、動画ファイル、インデックステーブル及びインデックス情報を読み込み、動画ファイルの再生と編集を行って任意のフレームを削除し、削除後のインデックス情報と動画ファイルを外部記憶装置１０６に格納するまでの制御手順に対応する。

ステップＳ８００において、インデックス読込み部２０７として動作する中央処理装置１０２は、外部記憶装置１０６からインデックステーブル４０１を読み込む。インデックステーブル４０１は、主記憶装置１０３の作業エリアにロードされる。

ステップＳ８０１において、動画再生部２０１および動画編集部２０２として動作する中央処理装置１０２は、動画ファイルの再生処理と編集処理を行って削除するフレームの開始と終わりを指定する。具体的には、表示されているフレームに対して、入力装置１０５により、削除対象となる開始フレームと終了フレームとが指定される。これは、インポイントやアウトポイントと呼ばれることもある。指定されたフレームのフレーム番号は中央処理装置１０２によって認識される。

ステップＳ８０２において、インデックス解析部２０８として動作する中央処理装置１０２は、削除対象となるフレーム番号が、インデックステーブル４０１内に含まれるいずれかのインデックス情報に存在するかどうか調べる。削除対象となるフレーム番号は、削除対象として指定された開始フレームのフレーム番号から、終了フレームのフレーム番号までに含まれるフレーム番号を差す。フレーム番号は、順番に振られているものとする。判定の結果、削除対象となるフレーム番号が、インデックステーブル４０１に含まれている場合は、ステップＳ８０３に進み、含まれていなければ、ステップＳ８０２へと進む。

ステップＳ８０３において、インデックス解析部２０８として動作する中央処理装置１０２は、削除対象となるフレームのフレーム番号であって、かつインデックステーブル４０１に登録されているフレーム番号について、対応する削除制御情報を抽出する。

ステップＳ８０４において、中央処理装置１０２は、削除制御情報がユーザに処理を選択させることを指定しているかどうかを判定する。ユーザに処理を選択させると指定されていれば、ステップＳ８０５において、中央処理装置１０２は、処理の候補を表示装置１０４に表示し、入力装置１０５からの処理の選択指示を認識する。選択指示が認識されるとステップＳ８０６に進む。ユーザに処理を選択させると指定されていない場合も、ステップＳ８０６に進む。

ステップＳ８０６において、中央処理装置１０２は、削除制御情報がフレーム情報とともにインデックス情報の削除を指定しているかどうかを判定する。両方の同時削除が指定されていれば、ステップＳ８０７に進み、動画編集部２０２として動作する中央処理装置１０２は、動画ファイルから削除対象フレームを削除し、インデックステーブルから削除対象インデックスと、対応するインデックス情報を削除する。その後、ステップＳ８１２に進む。

一方、インデックス情報とフレームを同時に削除しない場合は、ステップＳ８０８に進み、中央処理装置１０２は、削除制御情報によりインデックス情報のみを削除することが指定されているかどうかを判定する。インデックス情報のみを削除することが指定されている場合は、ステップＳ８０９に進み、削除対象フレームのインデックスをインデックステーブル４０１から削除し、対応するインデックス情報も削除する。その後、ステップＳ８１２に進む。

一方、インデックス情報のみを削除すると判定されなかったときは、ステップＳ８１０に進み、中央処理装置１０２は、削除制御情報が両方のデータとも削除しないことを指定されているかどうかを判定する。両方を削除しない場合はステップＳ８１２に進む。そうでなければ、ステップＳ８１１に進み、中央処理装置１０２は、削除対象フレーム（実際には削除されない。）のインデックスをインデックステーブル４０１から削除するとともに、対応するインデックス情報も削除する。

一方、インデックス情報もフレームも削除しないと指定されている場合はステップＳ８１２に進み、中央処理装置１０２は、削除対象となっているすべてのフレームに関して、削除処理が終了したか否かを判定する。すべて終了していなければ、削除対象フレーム番号をひとつインクリメントし、ステップＳ８０２へ戻る。

一方、すべて終了していれば、ステップＳ８１３に進み、インデックス書き込み部として機能する中央処理装置１０２は、インデックステーブル４０１とインデックス情報を外部記憶装置１０６に格納する。

ステップＳ８１４において、動画書き込み部２０３として機能する中央処理装置１０２は、編集後の動画ファイルを外部記憶装置１０６に格納してフレーム削除処理を終了する。

上述の実施形態では、印刷するフレームを選択する方法の一例として、動画処理装置１０１において、インデックス情報（例えば、コメントやアイコンなど）のリストを表示し、その中から任意のインデックス情報を選定させることで、対応するフレームを検索抽出する方法について説明した。しかしながら本発明はこれに限定されることはない。例えば、入力装置１０５においてユーザにより入力されたキーワードに基づいて、中央処理装置１０２が、そのキーワードに関連するコメントと、それに対応するフレームを検索抽出するようにしてもよい。あるいは、中央処理装置１０２が、インデックス情報内のアイコンのリストを作成して、表示装置１０８に表示し、入力装置１０５により選択されたアイコンに対応するフレームを検索抽出して選択するようにしてもよい。さらに、入力装置１０５において音声を入力して音声認識し、中央処理装置１０２が、認識された言葉の文字列を検索キーに設定して、対応するコメントとフレームとを検索抽出してもよい。また、中央処理装置１０２が、不図示の音声出力装置から音声メモを再生させつつ、入力装置１０５により音声メモを指定し、対応するフレームを検索抽出して選択させてもよい。

以上説明したように、本実施形態に係る動画処理装置１０１によれば、動画ファイルに含まれる任意のフレームデータに対してインデックスを設定するとともに、各インデックスごとのインデックス情報を設定しておくことで、当該インデックス情報を基準として、動画ファイルを再生する際の開始フレームや、動画ファイルに含まれる任意の静止画像を印刷する際の対象フレームを、検索抽出して選択しやすくなる利点がある。また、従来のようにタイムコードなどを入力する方法では、たった一つのフレームだけしか選択できなかったが、本実施形態に係る発明によれば、インデックス情報を基準として複数のフレームを検索抽出できる利点がある。

また、インデックス情報として、コメントに関するデータ、アイコンに関するデータ、または音声メモに関するデータを採用すれば、特定のテーマに沿ったフレームを一度に抽出できる利点がある。

また、インデックス情報に含まれるコメントのリストを作成して表示し、その中から所望のコメントを指定することで、対応するフレームを選択できるようにしたので、キーワードを入力する作業が不要となり、ユーザにとってフレームの選択作業が容易となろう。また動画ファイルの編集時間や印刷までの操作時間を短縮できる効果も期待できる。

上述の例では、コメントのリストを作成して任意のコメントを選択するようにしていたが、アイコンのリストを作成して、任意のアイコンを選択できるようにすれば、視覚的に分かり易く、フレームを選択することができる。これにより、動画ファイルの編集時間や印刷までの操作時間を短縮することができるという効果も期待できる。

またインデックス情報として、フレーム削除する際の処理を指定する削除制御情報を採用すれば、動画ファイルを編集する際に、特定のフレームやインデックス情報を削除処理から保護することが可能となる。すなわち、動画ファイルの全体を変更禁止にする属性しか設定できなかった従来技術に比し、フレームデータ単位で削除に対する保護を設定できるので便利である。例えば、誤って削除するのを防止できるという効果がある。

削除制御情報としては、例えば、インデックス情報およびフレームデータの削除の指定、インデックス情報のみの削除の指定、インデックス情報およびフレームデータの削除禁止、または操作者による指示にしたがって処理することの指定のいずれかを動画処理装置１０１によって選択することができるので、ユーザが好適と考える削除方法を自由に設定することができる。

［第２の実施形態］
第１の実施形態では、動画ファイルに含まれる１つのフレームに対して、１つのインデックス情報を設定するものであった。第２の実施形態では、１つのフレームに対して複数のインデックス情報を設定するものである。これにより、目的のフレームを異なったキーワード等で検索できるなど、印刷対象となるフレームを色々な方法で選択することが可能となる。

１つのフレームに対して複数のインデックス情報を設定するには、図６のステップＳ６０３において、すでにインデックス情報が付与されているフレーム番号が再度入力されたとしても、それを拒否することなく設定できるように改良すればよい。

以下、第２の実施形態について図９乃至図１１を参照しながら説明する。なお、第２の実施形態は、１つのフレームに複数のインデックス情報を設定すること以外は、基本的に、第１の実施形態と同様の処理と構成を採用できるため、ここではキーワードでコメントを検索し、検索されたフレームの静止画像を印刷する例とその制御処理手順を中心に説明する。

図９は、１つのフレームに対して複数のインデックス情報を設定する際の各インデックス情報の一例を示す図である。とりわけ、フレーム２０００には、２つのインデックス情報が設定されている。

フレーム番号９０１には一例として「２０００」が設定されている。コメント９０２には一例として「１００ｍ走にお兄ちゃんが参加」が設定されている。アイコン９０３には一例として「Ｎｏｎｅ」が設定されている。音声メモ９０４には一例として「Ｎｏｎｅ」が設定されている。削除制御情報９０５には一例として「インデックス情報もフレームも残す」と設定されている。

フレーム番号９０６には一例として「２０００」が設定されている。コメント９０７には一例として「１００ｍ走に弟も参加」が設定されている。アイコン９０８には一例として「Ｎｏｎｅ」が設定されている。音声メモ９０９には一例として「Ｎｏｎｅ」が設定されている。削除制御情報９１０には一例として「インデックス情報もフレームも残す」と設定されている。

フレーム番号９１１には一例として「３０００」が設定されている。コメント９１２には一例として「障害物競走に弟が参加」が設定されている。アイコン９１３には一例として「Ｎｏｎｅ」が設定されている。音声メモ９１４には一例として「Ｎｏｎｅ」が設定されている。削除制御情報９１５には一例として「インデックス情報もフレームも残す」と設定されている。

フレーム番号９１６には一例として「４０００」が設定されている。コメント９１７には一例として「リレーにお兄ちゃんが参加」が設定されている。アイコン９１８には一例として「Ｎｏｎｅ」が設定されている。音声メモ９１９には一例として「Ｎｏｎｅ」が設定されている。削除制御情報９２０には一例として「インデックス情報もフレームも残す」と設定されている。

図１０は、図９に例示されたインデックス情報から、キーワードによってフレームを検索した結果の一例を示す図である。

とりわけ図１０（ａ）は、検索キーワード１００１として、「兄」が指定された場合の検索結果を示している。１００２は、１つ目の検索結果であり、この例ではフレーム番号２０００に設定されたインデックス情報のコメントに「兄」が含まれていることを示している。１００３は、２つ目の検索結果であり、この例ではフレーム番号４０００に設定されたインデックス情報のコメントに「兄」が含まれていることを示している。

一方、図１０（ｂ）は、検索キーワード１００１として、「弟」が指定された場合の検索結果を示している。１００５は、１つ目の検索結果であり、この例ではフレーム番号２０００に設定されたインデックス情報のコメントに「弟」が含まれていることを示している。１００６は、２つ目の検索結果であり、この例ではフレーム番号３０００に設定されたインデックス情報のコメントに「弟」が含まれていることを示している。

図１１は、実施形態に係るインデックス情報によるフレームデータの検索処理と、抽出されたフレームの印刷処理に関する例示的な手順を示すフローチャートである。この処理のプログラムコードは主記憶装置１０３に格納されており、中央処理装置１０２がこのプログラムコードを実行することによって実現される各種の機能が実現される。

このプログラムコードは、中央処理装置１０２が、動画ファイル、インデックステーブル及びインデックス情報を読み込み、入力されたキーワードにしたがって動画ファイルに含まれるフレームを検索し、抽出されたフレームの静止画像を印刷装置で印刷するまでの制御手順に対応している。

ステップＳ１１００において、中央処理装置１０２は、外部記憶装置１０６からインデックステーブル４０１を読み込む。

ステップＳ１１０１において、中央処理装置１０２は、フレームを検索するためのキーワードが入力装置１０５から入力されるのを待つ。

キーワードが入力された後、ステップＳ１１０２において、中央処理装置１０２は、入力されたキーワードに基づいて複数のインデックス情報を検索する。これにより、入力されたキーワードに関連するコメントを有するインデックス情報が検索抽出され、対応するフレームのフレーム番号が認識される。

ステップＳ１１０３において、中央処理装置１０２は、入力キーワードに関連するコメントであるか否かを判定する。当該コメントに入力キーワードが含まれていれば、ステップＳ１１０４に進み、そうでなければステップＳ１１０５に進む。

ステップＳ１１０４において、中央処理装置１０２は、抽出されたコメントを有するインデックス情報のフレーム番号を読み出して認識する。

ステップＳ１１０５において、中央処理装置１０２は、全てのインデックス情報に対する検索を完了したか否かを判定する。検索未済のインデックス情報が存在すれば、ステップＳ１１０２に戻り、次のインデックス情報内のコメントをキーワードで検索する。

すべてインデックス情報に対する検索が終了していれば、ステップＳ１１０６において、検索抽出された全てのフレームの静止画像データに関する印刷指示を印刷装置１０８に対して出力し、本処理を終了する。

以上説明したように、第２の実施形態に係る動画処理装置１０１によれば、動画ファイルに含まれる１つのフレームに対して複数のインデックス情報を設定可能としたので、同一の対象フレームを異なったキーワードで検索抽出することができる。

また、インデックス情報に音声メモを設定できるので、音声認識した言葉の文字列でコメントを検索することができる。また、動画再生では分からない撮影時の状況を簡単に記録しておくことができるという効果もある。

また、動画ファイルから静止画像を印刷する際にも、印刷対象となる複数のフレームの組み合わせを、検索キーワードによって好適に選択できる。例えば、検索キーワードとして「兄」と設定すれば、「兄」が登場するものとしてインデックス情報が付されている複数のフレームを一度に抽出して印刷することができる。すなわち、特定のテーマに関するフレームを検索抽出してインデックスプリントを作成できる。

なお、上述の実施形態では、図６〜図８、図１１に示した手順を記述するプログラムコード群を動画処理装置の主記憶装置１０３に格納していたが、外部記憶装置１０６の記憶媒体または内部の記憶資源にさせ、この記憶媒体から中央処理装置（ＣＰＵ）１０２が読み出して実行するようにしてもよい。

図１２は、中央処理装置により読み出し可能な各種制御プログラムのプログラムコード群を格納する記憶媒体のメモリマップを示す図である。この記憶媒体には、図６〜図８のフローチャートの手順を記述したプログラムコード、すなわち、第１の実施形態におけるプログラムコードが、第１の制御プログラムに対応するプログラムコード群として格納されている。また、第２の実施形態におけるプログラムコードは、第２の制御プログラムに対応するプログラムコード群として格納されている。なお、第１の実施形態と第２の実施形態の何れか一方のみを実施する場合は、双方のプログラムコードは不要である。

特に図示しないが、この記憶媒体には、記憶されるプログラム群を管理する情報、例えばバージョン情報、作成者等を記憶し、かつプログラム読み出し側のＯＳ等に依存する情報、例えばプログラムを識別表示するアイコン等を記憶するようにしてもよい。

さらに、各種プログラムに従属するデータもディレクトリに管理されている。また、各種プログラムをコンピュータにインストールするためのプログラムや、インストールするプログラムが圧縮されている場合、解凍するプログラム等を記憶するようにしてもよい。

また、図１２に示すプログラムコード群の機能が、外部からインストールされるプログラムによって、本システムにより遂行されてもよい。この場合、ＣＤ−ＲＯＭ、フラッシュメモリ、またはフレキシブルディスク（ＦＤ）等の記憶媒体、あるいはネットワークを介して外部の記憶媒体からプログラムを含む情報群を本システムに供給することが可能である。

このように、本実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＭＵ）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても、本発明の目的が達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体も発明を構成することになる。

プログラムコードを供給するための媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。さらに、本発明を達成するためのソフトウェアによって表されるプログラムを、システムあるいは装置がネットワーク上のデータベースから通信プログラムによりダウンロードして読み出すことによっても、本発明の効果を享受することができる。

図１は、実施形態に係る動画処理装置のハードウエア構成例を示すブロック図である。図２は、実施形態に係る動画処理装置の制御機能を示す基本的な機能ブロック図である。図３は、動画ファイルに含まれる任意のフレームに対してインデックスを設定した例を示す図である。図４は、図３のフレームに設定されたインデックス情報の管理方法の一例を示す図である。図５は、図４で示したインデックス情報の設定例を示す図である。図６は、実施形態に係る動画処理装置の例示的な制御手順を示すフローチャートである。図７は、実施形態に係る動画ファイル内の任意のフレームを印刷する処理の例示的な手順を示すフローチャートである。図８は、動画ファイル内の任意のフレームを削除する処理の例示的な手順を示すフローチャートである。図９は、１つのフレームに対して複数のインデックス情報を設定する際の各インデックス情報の一例を示す図である。図１０は、図９に例示されたインデックス情報から、キーワードによってフレームを検索した結果の一例を示す図である。図１１は、実施形態に係るインデックス情報によるフレームデータの検索処理と、抽出されたフレームの印刷処理に関する例示的な手順を示すフローチャートである。図１２は、本実施形態に係る各種制御プログラムのプログラムコード群を格納する記憶媒体のメモリマップを示す図である。

Claims

動画ファイルを構成する複数のフレームデータから任意のフレームデータを指定する指定手段と、
指定された前記フレームデータを検索抽出する際に役立つインデックス情報を作成する作成手段と、
作成された前記インデックス情報を前記フレームデータと対応付けて記憶する記憶手段と、
前記記憶手段から前記インデックス情報を読み出し、読み出された該インデックス情報のリストを作成するリスト作成手段と、
作成された前記リストを表示する表示手段と、
表示された前記リストに応じて所望のインデックス情報を選定する選定手段と、
選定されたインデックス情報に対応するフレームデータを検索抽出する検索抽出手段と、
検索抽出された前記フレームデータを印刷出力または表示出力する出力手段と
を含むことを特徴とする動画処理装置。
動画ファイルを構成する複数のフレームデータから任意のフレームデータを指定する指定手段と、
指定された前記フレームデータを検索抽出する際に役立つインデックス情報を作成する作成手段と、
作成された前記インデックス情報を前記フレームデータと対応付けて記憶する記憶手段と、
所望のフレームデータを検索抽出するための検索キー情報を入力する入力手段と、
入力された前記検索キー情報と関連性のあるインデックス情報と、該インデックス情報に対応するフレームデータとを検索抽出する検索抽出手段と、
検索抽出された前記フレームデータを印刷出力または表示出力する出力手段と
を含む動画処理装置。
前記インデックス情報には、コメントに関するデータ、アイコンに関するデータ、音声に関するデータ、またはフレームデータを削除する際の処理を指定する削除制御情報の少なくとも一つが含まれていることを特徴とする請求項１または２に記載の動画処理装置。
前記作成手段には、
前記インデックス情報を構成する前記削除制御情報として、該インデックス情報および該フレームデータの削除の指定、該インデックス情報のみの削除の指定、該インデックス情報および該フレームデータの削除禁止、または操作者による指示にしたがって処理することの指定のいずれかを選択する選択手段が
さらに含まれることを特徴とする請求項３に動画処理装置。
前記動画ファイルの編集の際に、削除することを指定されたフレームデータに対応するインデックス情報を読み出す読み出し手段と、
読み出された前記インデックス情報の削除制御情報が、該インデックス情報および前記フレームデータの削除を指定している場合には該インデックス情報および前記フレームデータし、該インデックス情報のみの削除を指定している場合には該インデックス情報のみを削除し、該インデックス情報および前記フレームデータの削除を禁止している場合には該インデックス情報および前記フレームデータの削除を禁止し、または操作者による指示を基礎とすることを指定している場合には該操作者により入力される指示に応じて削除処理を実行する動画編集手段と
を含むことを特徴とする請求項４に記載の動画処理装置。
前記作成手段には、一つの前記フレームデータに対して複数のインデックス情報を設定する設定手段が含まれることを特徴とする請求項１乃至５の何れかに記載の動画処理装置。
前記検索抽出手段により複数のフレームデータが検索抽出された場合に、前記出力手段は、検索抽出された複数の前記フレームデータの２以上をまとめて一つの出力ページを作成するページ作成手段をさらに含むことを特徴とする請求１乃至６の何れかに記載の動画処理装置。
動画ファイルを構成する複数のフレームデータから任意のフレームデータを指定する指定手段と、
指定された前記フレームデータについて、該フレームデータを削除することが指示されたときの処理を予め指定する削除制御情報を作成する作成手段と、
を含む動画処理装置。
前記作成手段は、
作成した前記削除制御情報を、前記フレームデータを検索抽出する際に役立つインデックス情報内に搭載する搭載手段を
さらに含むことを特徴とする請求項８に記載の動画処理装置。
前記作成手段は、
前記削除制御情報として、該インデックス情報および該フレームデータの削除の指定、該インデックス情報のみの削除の指定、該インデックス情報および該フレームデータの削除禁止、または操作者による指示にしたがって処理することの指定のいずれかを選択する選択手段を
さらに含むことを特徴とする請求項９に動画処理装置。
前記動画ファイルの編集の際に、編集対象となっているフレームデータに関連する前記削除制御情報を読み出す読み出し手段と、
読み出された前記インデックス情報が、該インデックス情報および前記フレームデータの削除を指定している場合には該インデックス情報および前記フレームデータし、該インデックス情報のみの削除を指定している場合には該インデックス情報のみを削除し、該インデックス情報および前記フレームデータの削除を禁止している場合には該インデックス情報および前記フレームデータの削除を禁止し、または操作者による指示を基礎とすることを指定している場合には該操作者により入力される指示に応じて削除処理を実行する動画編集手段と
を含むことを特徴とする請求項１０に記載の動画処理装置。
動画ファイルを構成する複数のフレームデータから任意のフレームデータを指定する指定工程と、
指定された前記フレームデータを検索抽出する際に役立つインデックス情報を作成する作成工程と、
作成された前記インデックス情報を前記フレームデータと対応付けて記憶する記憶工程と、
前記記憶手段から前記インデックス情報を読み出し、読み出された該インデックス情報のリストを作成するリスト作成工程と、
作成された前記リストを表示する表示工程と、
表示された前記リストに応じて所望のインデックス情報を選定する選定工程と、
選定されたインデックス情報に対応するフレームデータを検索抽出する検索抽出工程と、
検索抽出された前記フレームデータを印刷出力または表示出力する出力工程と
を含むことを特徴とする動画処理方法。
動画ファイルを構成する複数のフレームデータから任意のフレームデータを指定する指定工程と、
指定された前記フレームデータを検索抽出する際に役立つインデックス情報を作成する作成工程と、
所望のフレームデータを検索抽出するための検索キー情報を入力する入力工程と、
入力された前記検索キー情報と関連性のあるインデックス情報と、該インデックス情報に対応するフレームデータとを検索抽出する検索抽出工程と、
検索抽出された前記フレームデータを印刷出力または表示出力する出力工程と
を含む動画処理方法。
動画ファイルを構成する複数のフレームデータから任意のフレームデータを指定する指定工程と、
指定された前記フレームデータについて、該フレームデータを削除することが指示されたときの処理を予め指定する削除制御情報を作成する作成工程と
を含む動画処理方法。
記憶手段と制御手段とを備えるコンピュータに対し、
前記記憶手段に記憶されている動画ファイルを構成する複数のフレームデータから任意のフレームデータを前記制御手段により指定する指定手順と、
指定された前記フレームデータを検索抽出する際に役立つインデックス情報を前記制御手段により作成して前記記憶手段に記憶する作成記憶手順と、
操作者の入力操作に応じて、所望のフレームデータを検索抽出するための検索キー情報を前記制御手段により入力する入力手順と、
入力された前記検索キー情報と関連性のあるインデックス情報と、該インデックス情報に対応するフレームデータとを前記制御手段により検索抽出する検索抽出手順と、
検索抽出された前記フレームデータを印刷出力または表示出力する出力手順と
を実行させるコンピュータプログラム。
記憶手段と制御手段とを備えるコンピュータに対し、
前記記憶手段に記憶されている動画ファイルを構成する複数のフレームデータから任意のフレームデータを前記制御手段により指定する指定手順と、
指定された前記フレームデータを検索抽出する際に役立つインデックス情報を前記制御手段により作成する作成手順と、
作成された前記インデックス情報を前記フレームデータと対応付けて前記記憶手段に記憶する記憶手順と、
前記記憶手段から前記インデックス情報を読み出し、読み出された該インデックス情報のリストを前記制御手段により作成するリスト作成手順と、
作成された前記リストを表示する表示手順と、
表示された前記リストに応じて所望のインデックス情報を前記制御手段により選定する選定手順と、
選定されたインデックス情報に対応するフレームデータを前記制御手段により検索抽出する検索抽出手順と、
検索抽出された前記フレームデータを印刷出力または表示出力する出力手順と
を実行させることを特徴とするコンピュータプログラム。
記憶手段と制御手段とを備えるコンピュータに対し、
前記記憶手段に記憶される動画ファイルを構成する複数のフレームデータから任意のフレームデータを前記制御手段により指定する指定手順と、
指定された前記フレームデータについて、該フレームデータを削除することが指示されたときの処理を予め指定する削除制御情報を前記制御手段により作成する作成手順と
を実行させることを特徴とするコンピュータプログラム。