JP4227241B2

JP4227241B2 - 画像処理装置及び方法

Info

Publication number: JP4227241B2
Application number: JP10576799A
Authority: JP
Inventors: 和世池田; 弘隆椎山; 洋東條
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-04-13
Filing date: 1999-04-13
Publication date: 2009-02-18
Anticipated expiration: 2019-04-13
Also published as: EP1045316A2; US6704029B1; EP1045316A3; JP2000299829A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像データの検索操作を容易に行うのに適した形態にて動画像データを格納するための画像処理装置及び方法に関する。
【０００２】
【従来技術】
近年、ＭＰＥＧ等の動画像データ圧縮技術の進歩と、記録メディアの大容量化により、インターネット等を用いて動画像データを配信することが実現されている。また、個人ユーザレベルにおいても、大量のデジタル画像データを格納しておくことが一般に行える状況となっている。
【０００３】
このような大量の動画像データの中から自分の見たい動画像を選択するには、操作者が一つ一つの動画像データについて倍速再生を行なったり、早送りと再生を繰り返したりすることにより、その内容を確認する必要があった。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のような方法では、ユーザは面倒な操作を強いられ、所望の動画にたどり着くまでに大変な労力と時間を費やさなければならない。
【０００５】
本発明は上記の問題に鑑みてなされたものであり、動画像データの内容確認を容易かつ適確に行える画像処理装置及び方法を提供することを目的とする。
【０００６】
また、本発明の他の目的は、上記目的を達成するのに好適なデータ構造を提供することにある。
【０００７】
また、本発明の他の目的は、所望の動画像データを得るための検索を容易に行えるようにすることにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するための本発明の画像処理装置は例えば以下の構成を備える。すなわち、
動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定手段と、
前記特定手段で特定されたシーンの各々の重要度を設定する設定手段と、
前記特定手段で特定されたシーンとキーフレームを示す情報、及び前記設定手段で設定された重要度をシーン情報として当該動画像データに関連させて格納する格納手段と、
前記キーフレームの特徴量情報を取得する取得手段とを備え、
前記格納手段において格納されるシーン情報は前記取得手段で取得されたキーフレームの画像の特徴量情報を含む。
また、上記の目的を達成するための本発明の他の態様による画像処理装置は以下の構成を備える。すなわち、
動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定手段と、
前記特定手段で特定されたシーンの各々の重要度を設定する設定手段と、
前記特定手段で特定されたシーンとキーフレームを示す情報、及び前記設定手段で設定された重要度をシーン情報として当該動画像データに関連させて格納する格納手段と、
前記格納手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成手段とを備え、
前記生成手段は、前記格納手段に格納されたシーン情報が示すシーンと、当該動画像の予め定められた時間分の先頭シーン及び終了シーンを時系列順にマージすることにより、抽出動画データを生成する。
また、上記の目的を達成するための本発明の他の態様による画像処理装置は以下の構成を備える。すなわち、
動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定手段と、
前記特定手段で特定されたシーンの各々の重要度を設定する設定手段と、
前記特定手段で特定されたシーンとキーフレームを示す情報、及び前記設定手段で設定された重要度をシーン情報として当該動画像データに関連させて格納する格納手段と、
前記格納手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成手段と、
前記抽出動画の再生時間を指定する指定手段と、
前記指定手段で指定された再生時間に基づいて、前記生成手段でマージされる各シーンの長さを調整する調整手段とを備える。
また、上記の目的を達成するための本発明の他の態様による画像処理装置は以下の構成を備える。すなわち、
動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定手段と、
前記特定手段で特定されたシーンの各々の重要度を設定する設定手段と、
前記特定手段で特定されたシーンとキーフレームを示す情報、及び前記設定手段で設定された重要度をシーン情報として当該動画像データに関連させて格納する格納手段と、
前記格納手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成手段と、
前記抽出動画データを構成するシーンの中に、その再生時間が予め定められた時間よりも短いものが存在する場合に、これを除去する除去手段とを備える。
更に、上記の目的を達成するための本発明の他の態様による画像処理装置は以下の構成を備える。すなわち、
動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定手段と、
前記特定手段で特定されたシーンの各々の重要度を設定する設定手段と、
前記特定手段で特定されたシーンとキーフレームを示す情報、及び前記設定手段で設定された重要度をシーン情報として当該動画像データに関連させて格納する格納手段と、
前記格納手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成手段と、
前記抽出動画の再生時間を指定する指定手段と、
前記格納手段に格納されたシーン情報によって示されるシーンをその重要度の順に選択して予め定められた時間長分を切り出す切出し手段とを備え、
前記切出し手段は、切り出されたシーンの合計時間が前記指定手段で指定された指定時間を越えるまで処理を実行し、
前記生成手段は、前記切出し手段で切り出されたシーンを時系列関係を保ちながら順次マージして抽出動画データを生成する。
【０００９】
また、上記の目的を達成するための本発明の他の態様による画像処理方法は、
ユーザの操作入力に応じて、動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定工程と、
前記特定工程で特定されたシーンの各々の重要度を設定する設定工程と、
前記特定工程で特定されたシーンとキーフレームを示す情報、及び前記設定工程で設定された重要度をシーン情報として当該動画像データに関連させて記憶手段に格納する格納工程と、
前記キーフレームの特徴量情報を取得する取得工程とを備え、
前記格納工程において格納されるシーン情報は前記取得工程で取得されたキーフレームの画像の特徴量情報を含む。
また、上記の目的を達成するための本発明の他の態様による画像処理方法は、
ユーザの操作入力に応じて、動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定工程と、
前記特定工程で特定されたシーンの各々の重要度を設定する設定工程と、
前記特定工程で特定されたシーンとキーフレームを示す情報、及び前記設定工程で設定された重要度をシーン情報として当該動画像データに関連させて記憶手段に格納する格納工程と、
前記記憶手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成工程とを備え、
前記生成工程は、前記記憶手段に格納されたシーン情報が示すシーンと、当該動画像の予め定められた時間分の先頭シーン及び終了シーンを時系列順にマージすることにより、抽出動画データを生成する。
また、上記の目的を達成するための本発明の他の態様による画像処理方法は、
ユーザの操作入力に応じて、動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定工程と、
前記特定工程で特定されたシーンの各々の重要度を設定する設定工程と、
前記特定工程で特定されたシーンとキーフレームを示す情報、及び前記設定工程で設定された重要度をシーン情報として当該動画像データに関連させて記憶手段に格納する格納工程と、
前記記憶手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成工程と、
前記抽出動画の再生時間を指定する指定工程と、
前記指定工程で指定された再生時間に基づいて、前記生成工程でマージされる各シーンの長さを調整する調整工程とを備える。
また、上記の目的を達成するための本発明の他の態様による画像処理方法は、
ユーザの操作入力に応じて、動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定工程と、
前記特定工程で特定されたシーンの各々の重要度を設定する設定工程と、
前記特定工程で特定されたシーンとキーフレームを示す情報、及び前記設定工程で設定された重要度をシーン情報として当該動画像データに関連させて記憶手段に格納する格納工程と、
前記記憶手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成工程と、
前記抽出動画データを構成するシーンの中に、その再生時間が予め定められた時間よりも短いものが存在する場合に、これを除去する除去工程とを備える。
更に、上記の目的を達成するための本発明の他の態様による画像処理方法、
ユーザの操作入力に応じて、動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定工程と、
前記特定工程で特定されたシーンの各々の重要度を設定する設定工程と、
前記特定工程で特定されたシーンとキーフレームを示す情報、及び前記設定工程で設定された重要度をシーン情報として当該動画像データに関連させて記憶手段に格納する格納工程と、
前記記憶手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成工程と、
前記抽出動画の再生時間を指定する指定工程と、
前記記憶手段に格納されたシーン情報によって示されるシーンをその重要度の順に選択して予め定められた時間長分を切り出す切出し工程とを備え、
前記切出し工程は、切り出されたシーンの合計時間が前記指定工程で指定された指定時間を越えるまで処理を実行し、
前記生成工程は、前記切出し工程で切り出されたシーンを時系列関係を保ちながら順次マージして抽出動画データを生成する。
【００１１】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【００１２】
＜第１の実施形態＞
図１は本実施形態の画像処理装置の制御構成を示すブロック図である。図１において、１０１はＣＰＵであり、本実施形態の画像処理装置における各種制御を実行する。１０２はＲＯＭであり、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。１０３はＲＡＭであり、ＣＰＵ１０１が処理するための制御プログラムを格納するとともに、ＣＰＵ１０１が各種制御を実行する際の作業領域を提供する。１０４はキーボード、１０５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００１３】
１０６は外部記憶装置であり、ハードディスクやフロッピーディスク、ＣＤ−ＲＯＭ等で構成される。１０７は表示器であり、ＣＲＴディスプレイや液晶ディスプレイなどで構成され、ＣＰＵ１０１の制御の下で各種表示を行う。１０８はネットワークインターフェースであり、ネットワーク上の各機器との通信を可能とする。１０９はビデオインターフェースであり、ビデオカメラ１１０や、ＶＴＲ１１２からの動画データの取り込みを可能とする。また、１１１は、上記の各構成を接続するバスである。
【００１４】
なお、上記の構成においてビデオカメラ１１０、ＶＴＲ１１２や外部記憶装置１０６はネットワーク上に配置されたもので代用してもよい。
【００１５】
図２は本実施形態の画像処理装置の機能構成を示すブロック図である。図２において、２０１は動画入力部であり、ビデオカメラ１１０、ＶＴＲ１１２等からビデオインターフェース１０９を介して画像を取り込む、或いは、ネットワーク上からネットワークインターフェース１０８を介して動画を取り込む。２０５は動画蓄積部であり、動画入力部２０１で取り込まれた動画の全フレームを蓄積するものである。２００は動画再生部であり、指定されたフレーム番号に基づいて動画蓄積部２０５から動画フレームを順次呼び出すことで動画を再生する。
【００１６】
２０７は表示部であり、動画再生部２００によって再生される動画や、サムネイル作成部２１０によって作成されるサムネイル画像を、ユーザに対して表示器１０７を介して表示する。ユーザ操作部２０６は、ユーザがキーポード１０４、マウス１０５を用いて、動画再生の指示、ランダム表示指示、類似検索指示、ダイジェスト再生指示、等を行うものである。
【００１７】
２０２はシーン指定部であり、重要なシーンの開始フレーム、終了フレーム、及び、キーフレームの指定を行う。２０３はフレーム特徴抽出部であり、シーン指定部２０２で指定されたキーフレームからカラーレイアウトを抽出する。なお、本実施形態においては、カラーレイアウトは特開平１０−２６０９８３に開示されているように、フレーム画像を分割してえられる複数のブロックの特徴量をラベル化し、これを所定のルールで並べたラベル列が用いられる。２０４はシーン特徴情報蓄積部であり、シーン指定部２０２で指定されたデータとフレーム特徴抽出部２０３で抽出されたカラーレイアウトをひとつのデータ構造にまとめて蓄積する。
【００１８】
２０８はダイジェスト用シーン決定部であり、シーン特徴情報蓄積部２０４を参照してダイジェスト用シーンを決定するものである。２０９はダイジェストシーン情報蓄積部であり、ダイジェスト用シーン決定部２０８によって決定されたダイジェスト用シーンの情報を格納する。２１２はダイジェスト再生部であり、ダイジェストシーン情報蓄積部２０９を参照し、動画再生部２００を介して、ダイジェストの再生を行う。
【００１９】
２１０はサムネイル作成部であり、シーン指定部２０２により指定されたキーフレーム画像を縮小してサムネイル画像を作成する。２１１はパターンマッチング部であり、キーフレームのカラーレイアウトのラベル列同士のマッチングを行うものである。
【００２０】
図３は本実施形態の画像処理装置に格納されるシーン特徴データのデータ構造を示す図である。シーン特徴情報蓄積部２０４は、図３の（ａ）に示されるごときシーン特徴データを、当該シーン特徴データが抽出された動画像データに対応づけて格納する。シーン特徴データにおいて、開始フレーム番号は、当該シーンの始まりのフレームのフレーム番号である。キーフレーム番号は、当該シーンの中で最も代表的なフレームのフレーム番号である。終了フレーム番号は、当該シーンの終了のフレームのフレーム番号である。また、シーンの重要度は、動画中でどのくらいそのシーンが重要であるかを示すものである。本実施形態では、動画全体に対するシーンの重要度を例えば１００を最大値とした整数などで指定する。キーフレームのカラーレイアウトは、特開平１０−２６０９８３に示したラベル列及びその属性情報である。
【００２１】
図３の（ｂ）はキーフレームのカラーレイアウトのデータ構造を示す図である。また、図４は本実施形態による画像のブロック分割例を示す図である。以下、図３及び図４を参照して、本実施形態における「キーフレームのカラーレイアウト」について更に詳細な説明を加える。
【００２２】
図３の（ｂ）において、「分割数」は画像の分割数である。本実施形態では、画像の分割を縦横同じ分割数でかつ２のべき乗の数とし、そのべきの数で分割数を表現する。例えば、図４に示すように、縦横の分割数がそれぞれ８であれば、８＝２³であるから、３で表されることになる。
【００２３】
また、「色特徴の抽出方法」は、画像を分割して得られた各ブロックにおける特徴量の抽出方法を示す。例えば、平均色（画素全体の色の平均）、最頻色（画素全体の中で最も頻度の高い色）を用いることなどが上げられる。
【００２４】
「カラーデータフォーマット」は、色データの形式を示すものである。図３の（ｃ）に、カラーデータフォーマットのデータ構造を示す。「色空間」は色を表現するための空間であり、例えばＲＧＢ空間や、Ｌ*ｕ*ｖ*空間などである。「色の深さ」は、１画素あたり何ｂｉｔで表現するかであり、３２bit/pixel，２４bit/pixel，１６bit/pixelなどである。「カラーマップ」は色番号と実際の色を対応付けるマップである。ただし、「カラーマップ」は、必ずしも必要ではない。
【００２５】
「ラベル列」は、各ブロックについて取得された特徴量に応じて付与されたラベルの列である。この数はもちろん、ブロックの分割数によって決まる。以下、ラベル列の生成について説明する。
【００２６】
図５は本実施形態による多次元特徴量空間を説明する図である。図５に示すように、多次元特徴量空間（ＲＧＢカラー空間）を複数の色セルに分割し、夫々の色セルに対して通し番号でユニークなラベルを付与する。ここで、多次元特徴用空間（ＲＧＢカラー空間）を複数の色セルに分けたのは微妙な特徴量（色）の違いを吸収するためである。なお、多次元特徴量空間に関しては、画像特徴量をそのまま用いるものではなく各パラメータを平均と分散を実験によって求め規格化（正規化）した後、例えば、主成分分析等の直交変換を行い、意味のある次元にしたものを用いることが考えられる。なお、「意味のある次元」とは、主成分分析において、寄与率が大きな主成分軸で構成される次元である。
【００２７】
次に、キーフレーム画像を分割して得られた各ブロックに対して、「色特徴の抽出方法」によって定められた画像特徴量計算処理を行い、上記多次元特徴量空間上のどのセルに属するかを求め、対応するラベルを求める。この処理を全てのブロックに対して行う。すなわち、各ブロックにおいて全ての画素がどの色セルに属するかの計算処理を行い、もっとも頻度の多い色セルのラベルをその分割画像ブロックのラベルとして決定し、この処理を全てのブロックに対して行う。
【００２８】
以上のようにして各ブロックに対してパラメータラベルが付与されると、各ブロックに付与されたパラメータラベルを所定のブロック順序で並べることにより、ラベル列が生成される。例えば、図４に示されるように、左から右への走査を上から下へ行うことによりパラメータラベルを並べ、ラベル列を作る。
【００２９】
以上のような構成を備えた本実施形態の画像処理装置の動作例を以下に説明する。
【００３０】
［シーン特徴抽出処理］
まず、動画から重要なシーンに関する情報を抽出しシーン特徴データ（図３）として記憶する処理を説明する。
【００３１】
図６は本実施形態による登録処理の手順を表すフローチャートである。まず、ステップＳ１１において、シーン指定部２０２は、動画中の重要なシーンの開始フレーム、終了フレーム、当該シーンのキーとなるキーフレームを決定するとともに、当該シーンの重要度を決定する。この処理は、人手によってマニュアルで行っても、何らかの演算処理を用いて自動的に行っても構わない。以下では、マニュアルによって決定を行う例を示す。
【００３２】
まず、動画再生部２００は、動画入力部２０１によって入力され動画蓄積部２０５に記憶された動画を読み出す。ユーザによるユーザ操作部２０６を介した指示によって再生、早送り、巻き戻し等を行う。そして、ユーザは、表示部２０７に再生される画像を観察し、重要なシーンを指定する。例えば、画像を再生させながら、重要シーンの開始場面（フレーム）と終了場面（フレーム）を指示するとともに、当該重要シーンの中で最もよくそのシーンを表わしている場面（フレーム）をキーフレームとして指示する。
【００３３】
シーン指定部２０２では、ユーザ操作部２０６を介して指示された開始フレームと、終了フレームと、キーフレームのそれぞれのフレーム番号を得る。さらに、当該動画全体に対する当該シーンの重要度を、例えば１００を最大値とした整数を用いて指定する。こうして得られたそれぞれの値は、シーン指定部２０２によって図３のシーン特徴データの形式にまとめられる。
【００３４】
次に、こうして得られたシーン特徴データは、ステップＳ１２において、対象としている動画のＩＤと当該動画から抽出されたシーンの先頭から割り振られたシーンＩＤと共にシーン特徴情報としてシーン特徴情報蓄積部２０４に格納される。図７は、シーン特徴情報の一例を示す図である。
【００３５】
次にステップＳ１３において、フレーム特徴抽出部２０３は、シーン特徴情報蓄積部２０４を参照して、動画蓄積部２０５よりキーフレームを順次取り出し、色に関する特徴抽出を行って「キーフレームのカラーレイアウト」を決定し、シーン特徴情報蓄積部２０４に格納していく。カラーレイアウトを決定する処理似ついては上述したとおりであり、更に詳細な説明は、特開平１０−２６０９８３に述べられている。この処理はシーン特徴情報に含まれる全てのキーフレーム番号について行われる。
【００３６】
以上のようにして、ユーザによって指定された全てのシーンについて、シーン特徴データ（図３）が抽出され、シーン特徴情報としてシーン特徴情報蓄積部２０４に格納される。以上がシーン特徴抽出の処理であり、この処理を対象となる全ての動画に対して行う。
【００３７】
［ダイジェスト動画作成処理］
次に、シーン特徴情報からそれぞれの動画についてのダイジェスト動画を自動作成する処理を説明する。図８及び図９は本実施形態による（一つの動画に対する）ダイジェスト動画作成処理の手順を表すフローチャートである。
【００３８】
まず、ステップＳ２１において、ダイジェスト用シーン決定部２０８は、シーン特徴情報蓄積部２０４を参照し、同一の動画ＩＤをもつ全てのシーン特徴データの開始フレーム番号と終了フレーム番号から、その合計時間を算出する。この合計時間と、ユーザによって指定されたダイジェスト動画再生のための指定時間から動画の先頭及び終了シーンの時間を差し引いた時間（以下、これをＴＳと表わす）とを比較する。ここで指定時間から先頭及び終了シーンの時間を除くのは、ダイジェスト動画には動画像の先頭と終了のシーンが必ず含まれるという観点に基づいている。また、先頭及び終了シーンの時間は、人間の視覚特性に基づき目にちらつかない程度の最適な長さのものとする。よってこの時間長に関しては特に限定しないが、数秒オーダーのものである。なお、先頭と終了のシーンを必ずしも含めないように構成することももちろん可能である。
【００３９】
さて、ステップＳ２１において、シーンの合計時間の方が長い場合は、シーンの合計時間を指定時間に合わせるべくステップＳ２２以降の処理を実行する。
【００４０】
まず、ステップＳ２２では、全てのシーン特徴データの重要度からその最大値を取得する。次に、ステップＳ２３において、重要度の下限の閾値と最大値の中間値を、重要度の閾値とする。ここで、重要度の下限の閾値とは、人間が重要なシーンであると判定する際の最低限の重要度である。すなわち、重要なシーンと判定されたシーンの開始フレームと終了フレームが、この重要度を持っているものと仮定される。なお、この重要度の下限の閾値は経験的に決まるものであり、特に限定されるものではない。次に、ステップＳ２４において、後続のステップＳ２５からＳ３２までの一連の処理のために、初期値としてＳａに重要度の最大値を、Ｓｂに重要度の下限の閾値を設定する。
【００４１】
次に、ステップＳ２５において、閾値以上の重要度を持つダイジェスト用シーンを決定する。この処理について、図１０を用いてより詳細に説明する。図１０には、動画とその重要なシーンを概念的に表したものと、これに対応させて、横軸に時間、縦軸にフレームの重要度をとったグラフが示されている。先述したようにそれぞれの重要なシーンの開始フレーム、終了フレームの重要度は閾値の下限値と仮定される。また、キーフレームはそのシーンを最もよく表しているものであるから、シーンの重要度がキーフレームの重要度に相当するものとする。なお、重要なシーン以外のフレームの重要度は不定であるとする（点線で図示された部分）。
【００４２】
以上から、開始フレームの重要度からキーフレームの重要度までの間と、キーフレームの重要度から終了フレームの重要度までの間に仮想的な直線を引くことができる（図１０において実線で示された部分）。これらの仮想的な重要度の直線と閾値の交点を求め、その交点の間に存在するフレームが、閾値以上の重要度をもったフレームとして抽出され、これら抽出されたフレームによってダイジェスト用シーンが決定される。すなわち、図１０では（ａ）から（ｂ）までのフレームと（ｃ）から（ｄ）までのフレームがこれに相当し、これらのフレームがダイジェスト用シーンとなる。
【００４３】
次にステップＳ２６において、ステップＳ２５で決定されたダイジェスト用シーンの合計時間からＴＳを減算し、これをＴＲとする。次に、ステップＳ２７において、ＴＲが０以上であり、かつ誤差の時間以内かどうかを判定する。ここで誤差の時間とは、閾値をどの位置に動かしても、ＴＲが０とならない（即ち、ダイジェスト用のシーンの合計時間がＴＳに一致しない）場合を想定して設けられた時間であり、経験的に求まるものである。ここで、ＴＲが所定の時間以上であれば、次にステップＳ２８に進む。
【００４４】
ステップＳ２８では、ＴＲが正であるかを判定する。ここで正であると判定された場合は、ダイジェスト用シーンの合計時間が長すぎることを意味するので、ステップＳ２９へ進み、現在の閾値をＳｂに設定する。そして、ステップＳ３０において、閾値をＳａと現在の閾値の中間値に更新する。そして、ステップＳ２５へ戻る。すなわち、重要度の下限の閾値を現在設定されている閾値に設定し、この新たに設定された下限の閾値とＳａに格納されている最大値との中間値を新たに閾値に設定して、上述のステップＳ２５以降の処理を繰り返す。
【００４５】
一方、ステップＳ２７において負であると判定された場合は、ダイジェスト用シーンの合計時間が短すぎることを意味し、処理はステップＳ３１へ進む。ステップＳ３１においては、現在の閾値をＳａに設定する。そして、ステップＳ３２において、閾値をＳｂと現在の閾値の中間値に更新する。そして、ステップＳ２５へと戻る。すなわち、重要度の最大値を現在設定されている閾値に設定し、この新たに設定された最大値とＳｂに格納されている下限値との間の中間値を新たな閾値に設定として、上述のステップＳ２５以降の処理を繰り返す。
【００４６】
以上のようにステップＳ２５からステップＳ３２を繰り返すことで、ダイジェスト用シーンは、ＴＳに最も近くなり、最終的にステップＳ２７で、ＴＲは０以上で所定の時間より短いと判定され、ステップＳ３４へと進むことになる。
【００４７】
一方、ステップＳ２１で、シーンの合計時間の方が短いと判定された場合は、このままでは、ダイジェスト動画の時間がユーザの指定した時間に満たないので、ステップＳ３３へ進み、例外処理を行う。ステップＳ３３では、シーン特徴情報に登録されている当該動画像の全ての重要なシーンについて、そのキーフレームを中心として、それぞれ暫時、シーンを長くしていき、これら重要シーンの再生時間をＴＳに近づける。すなわち、キーフレームの左側と右側交互にフレームを追加していき、シーンを長くする。そして、ステップＳ３４へ進む。
【００４８】
ステップＳ３４において、ダイジェスト用シーンとして抽出、決定されたシーンは時系列にソートされ、図１１に例示するようなダイジェストシーン情報として、ダイジェストシーン情報蓄積部２０９へ蓄積される。次に、ステップＳ３５において、当該動画像の先頭シーンをダイジェストシーン情報の先頭に、終了シーンをダイジェストシーン情報の最後に格納する。もしこのとき、前後のシーンと重要シーンのフレームが重なるときは、マージを行う。
【００４９】
次に、ステップＳ３６において、ダイジェストシーン情報の各シーンを順に調べて、短すぎるシーンが存在しないかどうかチェックを行う。ここで短すぎるシーンとは、人間が目でその内容を判定不可能と思われる時間であり、人間の視覚特性に基づき決定されるものである。本例では、先頭及び終了シーンの時間として定めたものより短いものとする。ここで短すぎるシーンが存在した場合は、ステップＳ３７において、その短すぎるシーンをダイジェストシーン情報より取り除く。次に、ステップＳ３８において、ステップＳ３７で取り除いたシーンの前後にあるシーンのうち、その重要度の高い方のシーンについて、キーフレームを中心にシーンを暫時長くしていき（ステップＳ３３と同様）、取り除いた分を埋める。次に、ステップＳ３９において、ダイジェストシーン情報中の全てのシーンについてチェックを行ったかどうかを判定し、全てについてチェックが行われるまでステップＳ３６からステップＳ３８を繰り返す。
【００５０】
以上の処理によって得られたダイジェストシーン情報から、それぞれのシーンを順に再生させることにより、動画データに対するダイジェスト動画を得ることができる。以上が、ダイジェスト動画作成処理であり、この処理を対象となる全ての動画に対して行う。
【００５１】
［動画検索処理］
次に、ユーザが所望の動画を検索する際の処理について述べる。図１２は本実施形態による動画検索の際のユーザの典型的な操作における状態遷移図である。また、図１３は、本実施形態による動画検索の処理を説明するフローチャートである。
【００５２】
まず、ユーザのユーザ操作部２０６を介してランダム表示が指示されると、処理はステップＳ５１からステップＳ５２へ進み、状態：キーフレームランダム表示１００となる。このとき、サムネイル作成部２１０は、シーン特徴情報蓄積部２０４によって格納されたシーン特徴情報を参照して所定数のシーンＩＤに含まれるキーフレームの番号を取り出し（ステップＳ５２）、これを基に動画蓄積部２０５よりキーフレーム画像を取り出す（ステップＳ５３）。そして、キーフレーム画像を縮小してこれをサムネイルとして、ランダムに表示部２０７を介して表示する（ステップＳ５４）。なお、ステップＳ５２における所定数とは、一画面で表示するサムネイル画像の数に対応する。こなお、れらサムネイル画像は、動画ＩＤ、シーンＩＤ、キーフレーム番号と関連づけて特に図示しないメモリ上に保持してもよいし、蓄積媒体上に記憶しておいてもよい。このようにサムネイルを保持しておけば、ステップＳ５４でその都度サムネイルを生成する必要がなくなる。もちろん、検索処理の初期化として、全てのキーフレームのサムネール画像を作成してこれをメモリ又は蓄積媒体上に動画ＩＤなどと関連づけて保持しておき、ランダム表示の指示があるごとに、所定数のサムネイル画像をメモり又は蓄積媒体より取り出して表示するようにしてもい。
【００５３】
ユーザはキーフレームのサムネイル画像の中から、所望の動画中に含まれるシーンに似ているものが見つかるまで、このランダム表示の指示を繰り返す（ステップＳ５５）。そして、似ているキーフレーム（所望のキーフレーム）が見つかったら、ユーザ操作部２０６を介して所望のキーフレームを指定することにより類似フレームの表示を指示する（ステップＳ５６）。この指示により処理はステップＳ５７以降へ進み、画像処理装置は、状態：類似フレーム表示１０１となる。このとき、パターンマッチング部２１１は、指定されたキーフレームを比較元として、シーン特徴情報蓄積部２０４に含まれるキーフレームのカラーレイアウトに含まれるラベル列同士でマッチングを行い、各動画像中のキーフレームとの類似度を算出する（ステップＳ５７）。
【００５４】
この類似度の算出には、例えば特開平１０−２６０９８３号に記載されたラベル列間のマッチング処理を適用することが可能である。簡単に説明すると次のとおりである。まず、図１４に示すようなペナルティマトリクスを用意する。このペナルティマトリクスでは、図５で示した特徴量空間の各色セルにおいて、隣接する色セル間には小さいペナルティ（距離）を与え、遠い色セル間には大きいペナルティ（距離）を与えるようにラベル間のペナルティが設定されている。そして、比較元のキーフレームのラベル列と他のキーフレームのラベル列との距離を、このペナルティマトリクスを参照して算出し、類似度を得る。特に、曖昧なパターンマッチングを行えるように、音声認識等において用いられるＤＰマッチング手法や、特開平８−２４１３３５号に開示されているようなファジー非決定性有限オートマトンを適用することも可能である。
【００５５】
また、このとき比較元と比較先においてキーフレームのイメージの「分割数」などの属性情報が異なるときは、それぞれの属牲情報を元にラベル列のデータ変換を行うことが可能である。例えば、比較元の分割数が３（２³×２³＝６４個のブロックとなる）であり、比較先の分割数が２（２²×２²＝１６個のブロックとなる）であり、色特徴の抽出方法が共に「平均色」である場合は、比較元のラベル列を、４つ一組としてそれぞれ一旦対応する色セルの重心にあたる中間色に直し、この４つの中間色の平均を求め、この平均色に対応するラベルを新たなラベルとしていくことにより、比較先と同じ１６個のラベルを含むラベル列に変換できる。
【００５６】
以上のようにして各キーフレームとの類似度が求まると、類似度の高い順番に表示部２０７を介して対応するサムネイル画像を検索給果として表示する（ステップＳ５８、Ｓ５９）。
【００５７】
ユーザは所望するシーンと思われるキーフレームが得られるまで、これらランダム表示、及び、類似フレーム表示を繰り返す（ステップＳ６０）。次に、ユーザがキーフレーム類似検索結果の中から所望の動画中のシーンと思われるキーフレームのサムネイル画像をユーザ操作部２０６を介して指定し、再生の指示を出すと画像処理装置は、状態：動画再生１０２となる（ステップＳ６１）。このとき、動画再生部２００は、指示されたキーフレームに関連付けられた動画ＩＤとキーフレーム番号を参照し、動画蓄積部２０５から対応する動画のキーフレーム番号から順次フレーム画像を取り出して表示部２０７を介して表示する（ステップＳ６３）。
【００５８】
なお、再生させたシーンがユーザの所望する動画に含まれるシーンでなければ、ランダム表示を再度指示することにより（ステップＳ６０）、ランダム表示を再度実行させたり、他のサムネイル画像を比較元に指定しなおして類似シーン表示を行わせることができる。
【００５９】
そして、所望の動画に含まれるシーンであると思われれば、動画全体を確認するためにユーザはユーザ操作部２０６を介してダイジェスト再生の指示を出す。ダイジェスト再生が指示されると（ステップＳ６２）、画像処理装置は、状態：ダイジェスト再生１０３となる（ステップＳ６４）。このときダイジェスト再生部２１２は、ダイジェスト蓄積部２０９のダイジェストシーン情報を参照して、指定されたキーフレームの動画ＩＤにおける全てのダイジェスト用シーンの開始フレーム番号から終了フレーム番号を、動画再生部２００に通知する。動画再生部２００は、通知された開始フレーム番号から終了フレーム番号までのフレームを動画蓄積部から順次取り出して、表示部２０７を介して表示する。このようにして動画のダイジェストが表示され、ユーザは所望の動画であったかどうかの判定が行える。
【００６０】
そして、もし所望の動画でなければ、ランダム表示や、他のサムネイル画像を比較元として類似シーン表示を行う（ステップＳ６０）。以上のことを繰り返すことによって、ユーザは所望の動画を得ることが可能となる。
【００６１】
もちろん、上記の処理の流れは一例であり、それぞれの操作を自由に組み合わせることで、所望の動画に辿り着く事も可能である。例えば、状態：類似フレーム表示１０１から、ダイジェスト再生指示を与えて、状態：ダイジェスト再生１０３に移り、動画全体のチェックを行っても構わない。或いは、状態：キーフレームランダム表示１００において所望のキーフレームを選択して動画再生やダイジェスト再生を行わせるように構成することもできる。
【００６２】
以上説明したように、上記第１の実施形態によれば、シーン特徴というデータ構造で動画の重要なシーンに関する情報が記述できるため、キーフレームのランダム表示、キーフレーム類似検索、及び、ダイジェスト自動作成とダイジェスト再生が可能となり、ユーザはこれらを好みの組み合わせで操作することによって、瞬時に所望の動画にたどり着くことが可能となる。また、シーン特徴というデータ構造に従えば、他の画像処理装置で利用されている動画像も同様に扱うことが可能となる。
【００６３】
＜第２の実施形態＞
上記第１の実施形態においては、ダイジェスト動画作成処理において、指定の時間に納まるように閾値を変化させて、ダイジェスト用シーンを決定している。しかしながら、指定時間に応じたダイジェスト用シーンの決定方法はこれに限られるものではない。例えば、この処理の他の実施形態として図１５に示した処理手順を用いることも可能である。
【００６４】
図１５は、第２の実施形態によるダイジェスト用シーンの決定処理手順を説明するフローチャートである。まず、ステップＳ７１において、ダイジェスト用シーン決定部２０８は、シーン特徴情報蓄積部２０４を参照し、同一の動画ＩＤをもつ全てのシーン特徴の開始フレーム番号と終了フレーム番号を得て、これに基づいて当該動画の重要シーンとして指定されたシーンの合計時間を算出する。そして、この合計時間と、ユーザによって指定されたダイジェスト動画の再生時間（指定時間）から開始シーンと終了シーンとを差し引いた時間ＴＳとを比較する。ここでシーンの合計時間の方がＴＳよりも長いときは、このままではダイジェスト再生時間が指定時間を越えてしまうので、ステップＳ７２へ進み、再生時間の調整を行う。
【００６５】
まず、ステップＳ７２において、シーン特徴情報の同一の動画ＩＤを持つシーン特徴データについて、シーンの重要度でソートを行う。次にステップＳ７３において、この重要度の高い順番に、所定の時間の長さでシーンを取り出し、これをダイジェスト用シーンとする。このとき、所定の時間とは人間の目にちらつかない程度の長さであり、人間の視覚特性によって決定される。また、各シーンから所定の時間分を取り出すときは、キーフレームを中心にして所定時間分のフレームを取り出す。
【００６６】
次にステップＳ７４において、ステップＳ７３の処理を最も重要度の低いシーンまで行ったか、即ち、ソートされた重要シーンの全てについて行ったかを判定する。ここで、全てのシーン特徴情報についてステップＳ７３の処理が行われたということは、取得したシーンによるダイジェスト再生時間が指定時間以下であることを意味するので、ステップＳ７８へ進み各シーンの再生時間を長くする方向で調整を行う。
【００６７】
一方、ステップＳ７４において、ステップＳ７３の処理が全ての重要シーンについて行われていないと判断されると、処理はステップＳ７５へ進む。ステップＳ７５では、ダイジェスト用シーンの合計時間がＴＳ以上となったかどうかを判定し、ＴＳ以上となるまでステップＳ７３（及びＳ７４）を繰り返す。そして、シーンの合計時間がＴＳ以上となった時点でステップＳ７６へ処理を移す。この結果、ダイジェスト用シーンに重要度の高いシーンが優先的に含まれることになる。
【００６８】
ここでステップＳ７１においてシーンの合計時間の方が短いと判定された場合、及び、ステップＳ７４において最も重要度の低いシーンまで取得されたと判定された場合の処理であるステップＳ７８について説明する。ステップＳ７８へ処理が移行してきた場合、このままでは、ダイジェスト動画の再生時間がユーザの指定した時間に満たない。従って、ステップＳ７８では、この時点でダイジェスト用シーンを構成する全てのシーンについて、そのキーフレームを中心としてそれぞれ暫時シーンを長くしていき、シーンの合計時間をＴＳに近づけていく。
【００６９】
ステップＳ７６においては、ダイジェスト用シーンとして抽出されたシーンを時系列にソートし、図１１に例を示したダイジェストシーン情報として、ダイジェストシーン情報蓄積部２０９へ蓄積する。次に、ステップＳ７７において、先頭のシーンをダイジェストシーン情報の先頭に、終了のシーンをダイジェストシーン情報の最後に格納する。もしこのとき、前後のシーンとフレームが重なるときは、マージを行う。
【００７０】
以上のような処理によってもダイジェスト動画を自動的に得ることが可能である。
【００７１】
［他の実施形態］
上記各実施形態においては、ダイジェストの作成は、ダイジェストシーン情報を対象となる全ての動画の対して求めた後、一旦、蓄積媒体上に記憶している。しかしながら、ダイジェスト再生指示によりその都度、指示のあった動画のみについてメモリ上にダイジェストシーン情報を作成するようにしてもよい。この場合、本実施形態で説明したダイジェスト動画作成処理そのものは軽いので、即座にダイジェスト再生を行うことが可能である。
【００７２】
また、上記各実施形態においては、シーン特徴抽出処理と動画検索処理（及びダイジェスト動画作成処理）を一つの画像処理装置で実現しているが、シーン特徴のデータ構造持ったデータと原動画像及びこれらを関連付ける仕組みが存在すれば、それぞれを別々の画像処理装置で実現しても構わない。
【００７３】
また、上記各実施形態においては、各フレームの位置を示すのに動画の先頭から割り振られるフレームの番号（開始フレーム番号等）で表現したがこれに限られるものではない。例えば、先頭から再生したときの時間であってもよく、動画中でそのフレームを特定できれば何であってもよい。
【００７４】
また、上記各実施形態においては、シーン特徴抽出処理において、開始フレーム、終了フレーム、キーフレームの決定を手動で行う場合を説明したが、自動的に各フレームを決定することも可能である。例えば、動画中の全てのフレームに対して特徴抽出を行ってカラーレイアウトを求め、近傍のフレーム間でラベル列の比較を行ってその類似度を算出する。類似度が低いほどフレーム間の変化が激しく、この変化が激しい部分が心理的に印象に残る。このことを利用して類似度から各フレームの重要度を決定するといった方法が挙げられる。
【００７５】
なお、本発明は、例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなどの複数の機器から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００７６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００７７】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７８】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発生のメモリカード、ＲＯＭなどを用いることができる。
【００７９】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ポードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８１】
【発明の効果】
以上説明したように、本発明によれば、動画像データの内容確認を容易かつ適確に行える。また、本発明のデータ構造によれば、複数の画像処理装置間で、内容確認のための情報を共有することができる。
【図面の簡単な説明】
【図１】本実施形態の画像処理装置の制御構成を示すブロック図である。
【図２】本実施形態の画像処理装置の機能構成を示すブロック図である。
【図３】本実施形態の画像処理装置に格納されるシーン特徴データのデータ構造を示す図である。
【図４】本実施形態による画像のブロック分割例を示す図である。
【図５】本実施形態による多次元特徴量空間を説明する図である。
【図６】本実施形態による登録処理の手順を表すフローチャートである。
【図７】シーン特徴情報の一例を示す図である。
【図８】第１の実施形態によるダイジェスト動画作成処理の手順を表すフローチャートである。
【図９】第１の実施形態によるダイジェスト動画作成処理の手順を表すフローチャートである。
【図１０】動画とその重要なシーンを概念的に表すとともに、これに対応させて各シーンの重要度と閾値の関係を概念的に表わす図である。
【図１１】本実施形態によるダイジェストシーン情報のデータ構成例を示す図である。
【図１２】本実施形態による動画検索の際のユーザの典型的な操作における状態遷移図である。
【図１３】本実施形態による動画検索の処理を説明するフローチャートである。
【図１４】ラベル列間の類似度計算を行うためのペナルティマトリクスの例を示す図である。
【図１５】第２の実施形態によるダイジェスト動画作成処理の手順を表すフローチャートである。

Claims

動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定手段と、
前記特定手段で特定されたシーンの各々の重要度を設定する設定手段と、
前記特定手段で特定されたシーンとキーフレームを示す情報、及び前記設定手段で設定された重要度をシーン情報として当該動画像データに関連させて格納する格納手段と、
前記キーフレームの特徴量情報を取得する取得手段とを備え、
前記格納手段において格納されるシーン情報は前記取得手段で取得されたキーフレームの画像の特徴量情報を含むことを特徴とする画像処理装置。
前記キーフレームの特徴量情報は、該キーフレームの画像を複数ブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与し、付与されたラベルを予め定められた順序で並べて得られるラベル列であることを特徴とする請求項１に記載の画像処理装置。
前記複数ブロックへの分割は、画像を縦横共に２のべき乗でブロックに分割するものであることを特徴とする請求項２に記載の画像処理装置。
前記ラベル列とともに画像の分割数、特徴量の抽出方法、および色表現に関する情報を記憶する手段を備えることを特徴とする請求項２又は３に記載の画像処理装置。
前記キーフレームの一つが指定された場合に、該指定されたキーフレームと他のキーフレームの画像の類似度を、各キーフレームの画像特徴量に基づいて算出する算出手段と、
前記算出手段で算出された類似度に基づいてキーフレームを提示する提示手段と、
前記提示手段で提示されたキーフレームの中から選択されたキーフレームを含む動画像データを取得し、再生する再生手段とを更に備えることを特徴とする請求項１または２に記載の画像処理装置。
動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定手段と、
前記特定手段で特定されたシーンの各々の重要度を設定する設定手段と、
前記特定手段で特定されたシーンとキーフレームを示す情報、及び前記設定手段で設定された重要度をシーン情報として当該動画像データに関連させて格納する格納手段と、
前記格納手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成手段とを備え、
前記生成手段は、前記格納手段に格納されたシーン情報が示すシーンと、当該動画像の予め定められた時間分の先頭シーン及び終了シーンを時系列順にマージすることにより、抽出動画データを生成することを特徴とする画像処理装置。
動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定手段と、
前記特定手段で特定されたシーンの各々の重要度を設定する設定手段と、
前記特定手段で特定されたシーンとキーフレームを示す情報、及び前記設定手段で設定された重要度をシーン情報として当該動画像データに関連させて格納する格納手段と、
前記格納手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成手段と、
前記抽出動画の再生時間を指定する指定手段と、
前記指定手段で指定された再生時間に基づいて、前記生成手段でマージされる各シーンの長さを調整する調整手段とを備えることを特徴とする画像処理装置。
前記調整手段は、
各シーンに設定された重要度に基づいてシーン内の各フレームの重要度を決定し、該シーン内において閾値を越える重要度を有するフレームを抽出し、これをマージ対象のシーンとして前記生成手段に提供するフレーム抽出手段と、
前記生成手段で生成される抽出動画データの再生時間が、前記指定された再生時間の予め定められた誤差範囲に納まるように、前記フレーム抽出手段において用いられる閾値を制御する閾値制御手段とを備えることを特徴とする請求項７に記載の画像処理装置。
前記シーン情報によって指定される全てのシーンの合計時間が前記指定手段で指定された再生時間よりも短い場合、該指定された再生時間の予め定められた誤差範囲に納まるように各シーンのキーフレームを中心として再生時間を暫時延長する延長調整手段を更に備えることを特徴とする請求項８に記載の画像処理装置。
動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定手段と、
前記特定手段で特定されたシーンの各々の重要度を設定する設定手段と、
前記特定手段で特定されたシーンとキーフレームを示す情報、及び前記設定手段で設定された重要度をシーン情報として当該動画像データに関連させて格納する格納手段と、
前記格納手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成手段と、
前記抽出動画データを構成するシーンの中に、その再生時間が予め定められた時間よりも短いものが存在する場合に、これを除去する除去手段とを備えることを特徴とする画像処理装置。
前記除去手段で除去されたシーンの再生時間に相当する時間分だけ他のシーンを延長する延長手段を更に備えることを特徴とする請求項１０に記載の画像処理装置。
前記延長手段は、前記抽出動画データ内における前記除去手段で除去されたシーンの前後に隣接するシーンのうちの設定された重要度の高いほうのシーンを、キーフレームを中心に時間延長することを特徴とする請求項１１に記載の画像処理装置。
動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定手段と、
前記特定手段で特定されたシーンの各々の重要度を設定する設定手段と、
前記特定手段で特定されたシーンとキーフレームを示す情報、及び前記設定手段で設定された重要度をシーン情報として当該動画像データに関連させて格納する格納手段と、
前記格納手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成手段と、
前記抽出動画の再生時間を指定する指定手段と、
前記格納手段に格納されたシーン情報によって示されるシーンをその重要度の順に選択して予め定められた時間長分を切り出す切出し手段とを備え、
前記切出し手段は、切り出されたシーンの合計時間が前記指定手段で指定された指定時間を越えるまで処理を実行し、
前記生成手段は、前記切出し手段で切り出されたシーンを時系列関係を保ちながら順次マージして抽出動画データを生成することを特徴とする画像処理装置。
前記予め定められた時間長は、ユーザが画像を認識可能な長さであることを特徴とする請求項１３に記載の画像処理装置。
前記シーン情報によって指定される全てのシーンの合計時間が前記指定手段で指定された再生時間よりも短い場合、該指定された再生時間の予め定められた誤差範囲に納まるように各シーンのキーフレームを中心として再生時間を暫時延長する延長調整手段を更に備えることを特徴とする請求項１４に記載の画像処理装置。
前記シーン情報は、各キーフレームの画像の画像特徴量を含み、前記キーフレームの一つが指定された場合に、該指定されたキーフレームと他のキーフレームの画像の類似度を各キーフレームの画像特徴量に基づいて算出する算出手段と、
前記算出手段で算出された類似度に基づいてキーフレームを提示する提示手段と、
前記提示手段で提示されたキーフレームの中から選択されたキーフレームを含む動画像データに関して、前記生成手段で生成された抽出画像データを再生する再生手段とを更に備えることを特徴とする請求項６乃至１５のいずれか１項に記載の画像処理装置。
前記キーフレームの特徴量情報は、該キーフレームの画像を複数ブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与し、付与されたラベルを予め定められた順序で並べて得られるラベル列であることを特徴とする請求項１６に記載の画像処理装置。
前記シーン情報は、各キーフレームの画像の画像特徴量を含み、
前記キーフレームをランダムに表示する第１手段と、
前記生成手段で生成された抽出画像データを再生する第２手段と、
指定されたキーフレームと他のキーフレームの画像の類似度を各キーフレームの画像特徴量に基づいて算出し、類似検索を行う第３手段と、
指定されたキーフレームから動画を再生する第４手段とを備え、
前記第１乃至第４手段を任意の組み合わせで機能させるべく操作可能としたことを特徴とする請求項６乃至１５のいずれか１項に記載の画像処理装置。
前記特定手段で特定されたシーンを示す情報は当該シーンの開始フレームと終了フレームのそれぞれのフレーム識別子を含み、キーフレームを示す情報は当該キーフレームのフレーム番号を含むことを特徴とする請求項１乃至１８のいずれか１項に記載の画像処理装置。
前記フレーム識別子は、動画像データにおける先頭からのフレーム番号であることを特徴とする請求項１９に記載の画像処理装置。
前記フレーム識別子は、動画像データにおける先頭から当該フレームまでの時間であることを特徴とする請求項１９に記載の画像処理装置。
前記キーフレームの画像をサムネイル化して一覧表示する表示手段を更に備えることを特徴とする請求項１乃至２１のいずれか１項に記載の画像処理装置。
ユーザの操作入力に応じて、動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定工程と、
前記特定工程で特定されたシーンの各々の重要度を設定する設定工程と、
前記特定工程で特定されたシーンとキーフレームを示す情報、及び前記設定工程で設定された重要度をシーン情報として当該動画像データに関連させて記憶手段に格納する格納工程と、
前記キーフレームの特徴量情報を取得する取得工程とを備え、
前記格納工程において格納されるシーン情報は前記取得工程で取得されたキーフレームの画像の特徴量情報を含むことを特徴とする画像処理方法。
前記キーフレームの特徴量情報は、該キーフレームの画像を複数ブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与し、付与されたラベルを予め定められた順序で並べて得られるラベル列であることを特徴とする請求項２３に記載の画像処理方法。
前記複数ブロックへの分割は、画像を縦横共に２のべき乗でブロックに分割するものであることを特徴とする請求項２４に記載の画像処理方法。
前記ラベル列とともに画像の分割数、特徴量の抽出方法、および色表現に関する情報を記憶する工程を備えることを特徴とする請求項２４又は２５に記載の画像処理方法。
前記キーフレームの一つが指定された場合に、該指定されたキーフレームと他のキーフレームの画像の類似度を、各キーフレームの画像特徴量に基づいて算出する算出工程と、
前記算出工程で算出された類似度に基づいてキーフレームを提示する提示工程と、
前記提示工程で提示されたキーフレームの中から選択されたキーフレームを含む動画像データを取得し、再生する再生工程とを更に備えることを特徴とする請求項２３または２４に記載の画像処理方法。
ユーザの操作入力に応じて、動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定工程と、
前記特定工程で特定されたシーンの各々の重要度を設定する設定工程と、
前記特定工程で特定されたシーンとキーフレームを示す情報、及び前記設定工程で設定された重要度をシーン情報として当該動画像データに関連させて記憶手段に格納する格納工程と、
前記記憶手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成工程とを備え、
前記生成工程は、前記記憶手段に格納されたシーン情報が示すシーンと、当該動画像の予め定められた時間分の先頭シーン及び終了シーンを時系列順にマージすることにより、抽出動画データを生成することを特徴とする画像処理方法。
ユーザの操作入力に応じて、動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定工程と、
前記特定工程で特定されたシーンの各々の重要度を設定する設定工程と、
前記特定工程で特定されたシーンとキーフレームを示す情報、及び前記設定工程で設定された重要度をシーン情報として当該動画像データに関連させて記憶手段に格納する格納工程と、
前記記憶手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成工程と、
前記抽出動画の再生時間を指定する指定工程と、
前記指定工程で指定された再生時間に基づいて、前記生成工程でマージされる各シーンの長さを調整する調整工程とを備えることを特徴とする画像処理方法。
前記調整工程は、
各シーンに設定された重要度に基づいてシーン内の各フレームの重要度を決定し、該シーン内において閾値を越える重要度を有するフレームを抽出し、これをマージ対象のシーンとして前記生成工程に提供するフレーム抽出工程と、
前記生成工程で生成される抽出動画データの再生時間が、前記指定された再生時間の予め定められた誤差範囲に納まるように、前記フレーム抽出工程において用いられる閾値を制御する閾値制御工程とを備えることを特徴とする請求項２９に記載の画像処理方法。
前記シーン情報によって指定される全てのシーンの合計時間が前記指定工程で指定された再生時間よりも短い場合、該指定された再生時間の予め定められた誤差範囲に納まるように各シーンのキーフレームを中心として再生時間を暫時延長する延長調整工程を更に備えることを特徴とする請求項３０に記載の画像処理方法。
ユーザの操作入力に応じて、動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定工程と、
前記特定工程で特定されたシーンの各々の重要度を設定する設定工程と、
前記特定工程で特定されたシーンとキーフレームを示す情報、及び前記設定工程で設定された重要度をシーン情報として当該動画像データに関連させて記憶手段に格納する格納工程と、
前記記憶手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成工程と、
前記抽出動画データを構成するシーンの中に、その再生時間が予め定められた時間よりも短いものが存在する場合に、これを除去する除去工程とを備えることを特徴とする画像処理方法。
前記除去工程で除去されたシーンの再生時間に相当する時間分だけ他のシーンを延長する延長工程を更に備えることを特徴とする請求項３２に記載の画像処理方法。
前記延長工程は、前記抽出動画データ内における前記除去工程で除去されたシーンの前後に隣接するシーンのうちの設定された重要度の高いほうのシーンを、キーフレームを中心に時間延長することを特徴とする請求項３３に記載の画像処理方法。
ユーザの操作入力に応じて、動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定工程と、
前記特定工程で特定されたシーンの各々の重要度を設定する設定工程と、
前記特定工程で特定されたシーンとキーフレームを示す情報、及び前記設定工程で設定された重要度をシーン情報として当該動画像データに関連させて記憶手段に格納する格納工程と、
前記記憶手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成工程と、
前記抽出動画の再生時間を指定する指定工程と、
前記記憶手段に格納されたシーン情報によって示されるシーンをその重要度の順に選択して予め定められた時間長分を切り出す切出し工程とを備え、
前記切出し工程は、切り出されたシーンの合計時間が前記指定工程で指定された指定時間を越えるまで処理を実行し、
前記生成工程は、前記切出し工程で切り出されたシーンを時系列関係を保ちながら順次マージして抽出動画データを生成することを特徴とする画像処理方法。
前記予め定められた時間長は、ユーザが動画を認識可能な長さであることを特徴とする請求項３５に記載の画像処理方法。
前記シーン情報によって指定される全てのシーンの合計時間が前記指定工程で指定された再生時間よりも短い場合、該指定された再生時間の予め定められた誤差範囲に納まるように各シーンのキーフレームを中心として再生時間を暫時延長する延長調整工程を更に備えることを特徴とする請求項３６に記載の画像処理方法。
前記シーン情報は、各キーフレームの画像の画像特徴量を含み、
前記キーフレームの一つが指定された場合に、該指定されたキーフレームと他のキーフレームの画像の類似度を各キーフレームの画像特徴量に基づいて算出する算出工程と、
前記算出工程で算出された類似度に基づいてキーフレームを提示する提示工程と、前記提示工程で提示されたキーフレームの中から選択されたキーフレームを含む動画像データに関して、前記生成工程で生成された抽出画像データを再生する再生工程とを更に備えることを特徴とする請求項２８乃至３７のいずれか１項に記載の画像処理方法。
前記キーフレームの特徴量情報は、該キーフレームの画像を複数ブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与し、付与されたラベルを予め定められた順序で並べて得られるラベル列であることを特徴とする請求項３８に記載の画像処理方法。
前記シーン情報は、各キーフレームの画像の画像特徴量を含み、
前記キーフレームをランダムに表示する第１工程と、
前記生成工程で生成された抽出画像データを再生する第２工程と、
指定されたキーフレームと他のキーフレームの画像の類似度を各キーフレームの画像特徴量に基づいて算出し、類似検索を行う第３工程と、
指定されたキーフレームから動画を再生する第４工程とを備え、
前記第１乃至第４工程を任意の組み合わせで機能させるべく操作可能としたことを特徴とする請求項２８乃至３７のいずれか１項に記載の画像処理方法。
前記特定工程で特定されたシーンを示す情報は当該シーンの開始フレームと終了フレームのそれぞれのフレーム番号を含み、キーフレームを示す情報は当該キーフレームのフレーム番号を含むことを特徴とする請求項２３乃至４０のいずれか１項に記載の画像処理方法。
前記フレーム識別子は、動画像データにおける先頭からのフレーム番号であることを特徴とする請求項４１に記載の画像処理方法。
前記フレーム識別子は、動画像データにおける先頭から当該フレームまでの時間であることを特徴とする請求項４１に記載の画像処理方法。
前記キーフレームの画像をサムネイル化して一覧表示する表示工程を更に備えることを特徴とする請求項２３乃至４３のいずれか１項に記載の画像処理方法。
請求項２３乃至４４のいずれか１項に記載の画像処理方法をコンピュータに実行させるための制御プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。