JP3897476B2 - 画像処理装置及びその方法、コンピュータ可読メモリ - Google Patents
画像処理装置及びその方法、コンピュータ可読メモリ Download PDFInfo
- Publication number
- JP3897476B2 JP3897476B2 JP03651299A JP3651299A JP3897476B2 JP 3897476 B2 JP3897476 B2 JP 3897476B2 JP 03651299 A JP03651299 A JP 03651299A JP 3651299 A JP3651299 A JP 3651299A JP 3897476 B2 JP3897476 B2 JP 3897476B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- image
- frame
- scene change
- designation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/90—Tape-like record carriers
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画を処理する画像処理装置及びその方法、コンピュータ可読メモリに関するものである。
【０００２】
【従来の技術】
ビデオカメラやＶＴＲ等によって集められた複数の動画素材から、特定のシーン（例えば、テレビ番組中の特定のタイトル画面から始まるコーナ、特定の人物が写っているシーン等）のみを抽出する場合、まず、ユーザがそれぞれの動画素材を早送りや再生等を繰り返して所望のシーンを検索し、そのシーンのタイムコードをメモしてタイムコード一覧を作成する。そして、この作成したタイムコード一覧をもとに、特定のシーンを寄せ集めて１つの動画にする等の編集作業を行っていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、複数の動画素材から特定のシーンを抽出するのに、ユーザによる早送りや再生などの操作、所望のシーンの検索、タイムコード一覧の作成など、非常な時間と労力を要していた。
【０００４】
本発明は上記の問題点に鑑みてなされたものであり、複数の動画素材から所望のシーン抽出を効率的に行うことができる画像処理装置及びその方法、コンピュータ可読メモリを提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
動画を処理する画像処理装置であって、
入力された動画を構成するフレームを抽出する抽出手段と、
前記抽出手段で抽出されたフレーム間を比較して、前記動画中のシーンチェンジを判定する判定手段と、
前記判定手段で判定されたシーンチェンジに関するシーンチェンジ情報を記憶する記憶手段と、
検索対象のシーンに対応する画像を指定する指定手段と、
前記記憶手段に記憶されたシーンチェンジ情報を参照して得られるシーンチェンジフレームと、前記指定手段で指定された画像とを比較する比較手段と、
前記比較手段の比較結果に基づいて、前記画像に対応するシーンを抽出する抽出手段と
を備える。
【０００６】
また、好ましくは、前記比較手段は、前記シーンチェンジフレームと前記指定手段により指定された画像との類似度を計算する計算手段を備え、
前記抽出手段は、前記計算手段の計算結果に基づいて、前記画像に対応するシーンを抽出する。
【０００７】
また、好ましくは、前記抽出手段で抽出されたシーンに関するシーン情報を出力する出力手段を
更に備える。
【０００８】
また、好ましくは、前記出力手段は、前記抽出手段で抽出されたシーンを編集し、一つの動画にまとめて出力する。
【０００９】
また、好ましくは、前記指定手段は、検索対象のシーンの先頭／中途／最後のフレームのいずれかに対応するパターン画像を指定する。
【００１０】
また、好ましくは、前記指定手段は、更に、抽出するシーンの数を指定可能とする。
【００１１】
また、好ましくは、前記指定手段は、更に、抽出するシーンの時間を指定可能とする。
【００１２】
また、好ましくは、前記指定手段は、更に、抽出するシーンの数を前記パターン画像に対応するフレームの前後それぞれについて指定可能とする。
【００１３】
また、好ましくは、前記指定手段は、更に、抽出するシーンの時間を前記パターン画像に対応するフレームの前後それぞれについて指定可能とする。
【００１４】
上記の目的を達成するための本発明による画像処理方法は以下の構成を備える。即ち、
動画を処理する画像処理方法であって、
入力された動画を構成するフレームを抽出する抽出工程と、
前記抽出工程で抽出されたフレーム間を比較して、前記動画中のシーンチェンジを判定する判定工程と、
前記判定工程で判定されたシーンチェンジに関するシーンチェンジ情報を記憶媒体に記憶する記憶工程と、
検索対象のシーンに対応する画像を指定する指定工程と、
前記記憶媒体に記憶されたシーンチェンジ情報を参照して得られるシーンチェンジフレームと、前記指定工程で指定された画像とを比較する比較工程と、
前記比較工程の比較結果に基づいて、前記画像に対応するシーンを抽出する抽出工程と
を備える。
【００１５】
上記の目的を達成するための本発明によるコンピュータ可読メモリは以下の構成を備える。即ち、
動画を処理する画像処理のプログラムコードが格納されたコンピュータ可読メモリであって、
入力された動画を構成するフレームを抽出する抽出工程のプログラムコードと、
前記抽出工程で抽出されたフレーム間を比較して、前記動画中のシーンチェンジを判定する判定工程のプログラムコードと、
前記判定工程で判定されたシーンチェンジに関するシーンチェンジ情報を記憶媒体に記憶する記憶工程のプログラムコードと、
検索対象のシーンに対応する画像を指定する指定工程とのプログラムコード、前記記憶媒体に記憶されたシーンチェンジ情報を参照して得られるシーンチェンジフレームと、前記指定工程で指定された画像とを比較する比較工程のプログラムコードと、
前記比較工程の比較結果に基づいて、前記画像に対応するシーンを抽出する抽出工程のプログラムコードと
を備える。
【００１６】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な一実施形態を詳細に説明する。
【００１７】
図１は本発明の実施形態の画像処理装置の構成を示すブロック図である。
【００１８】
同図において、１０１はＣＰＵであり、本画像処理装置の各種構成要素における各種制御を実行する。１０２はＲＯＭであり、本画像処理装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。１０３はＲＡＭであり、ＣＰＵ１０１が処理するための制御プログラムを格納するとともに、ＣＰＵ１０１が各種制御を実行する際の作業領域を提供する。１０４はキーボード、１０５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００１９】
１０６は外部記憶装置であり、ハードディスクやフロッピーディスク、ＣＤ−ＲＯＭ等で構成される。１０７は表示器であり、ＣＲＴやＬＣＤなどで構成され、処理結果等をユーザに対して表示する。１０８はネットワークインタフェースコントローラ（ＮＩＣ）であり、ネットワーク上の各機器との通信を可能とする。１０９はビデオインタフェース（Ｉ／Ｆ）であり、ビデオカメラ１１０や、ＶＴＲ１１２からの動画を取り込みを可能とする。また、１１１は各種構成要素を相互に接続するバスである。
【００２０】
尚、上記各種構成においてビデオカメラ１１０、ＶＴＲ１１２や外部記憶装置１０６はネットワーク上に配置されたもので代用してもよい。
【００２１】
次に、本実施形態の画像処理装置の機能構成について、図２を用いて説明する。
【００２２】
図２は本発明の実施形態の画像処理装置の機能構成を示すブロック図である。同図において、２０１は動画入力部であり、ビデオカメラ１１０、ＶＴＲ１１２等からビデオＩ／Ｆ１０９を介して取り込んだ動画、またはネットワーク上からＮＩＣ１０８を介して取り込んだ動画を入力する。２０２はフレーム抽出部であり、入力された動画を構成するフレーム（画像）を順番に抽出する。２０９はフレーム蓄積部であり、フレーム抽出部２０２で抽出されたフレームを蓄積する。２０３はシーンチェンジ判定部であり、各フレームをフレーム間類似度計算部２０４を用いて動画中のシーンチェンジを判定する。
【００２３】
２０４はフレーム間類似度計算部であり、フレーム間の類似度を計算する。２０５はシーンチェンジ情報蓄積部であり、シーンチェンジ判定部２０３で判定されたシーンチェンジに関する情報を蓄積する。２０６はパターン画像指定部であり、ユーザがキーボード１０４、マウス１０５を用いてパターン画像を指定する。２０７はシーン抽出部であり、パターン画像指定部２０６で指定されたパターン画像と、シーンチェンジ情報蓄積部２０５を参照して得られるシーンチェンジの起っているフレームとをフレーム類似度計算部２０４を用いて比較し、パターン画像に対応する所望のシーンを抽出する。２０８は抽出シーン一覧表示部であり、シーン抽出部２０７で抽出したシーンに関する情報の一覧を表示器１０７を用いてユーザに表示する。
【００２４】
以上のような構成を備えた本実施形態のシーン抽出機能を有する画像処理装置の動作例について、以下に説明する。
［シーンチェンジ検出処理］
まず、動画を登録し、シーンチェンジを検出する処理であるシーン検出処理について、図３を用いて説明する。
【００２５】
図３は本発明の実施形態のシーンチェンジ検出処理の処理手順を示すフローチャートである。
【００２６】
まず、ステップＳ３０１において、動画入力部２０１によって処理対象となる動画が入力される。次に、ステップＳ３０２において、フレーム抽出部２０２が入力された動画から１フレームづつフレームを取り出す処理を行なう。そして、フレーム抽出部２０２は、ステップＳ３０３において、取り出したフレームをフレーム蓄積部２０９に蓄積する。
【００２７】
ステップＳ３０４において、入力された動画の全フレームを抽出したか否かを判定する。全フレームを抽出していない場合（ステップＳ３０４でＮＯ）、ステップＳ３０２、ステップＳ３０３を繰り返す。一方、全フレームを抽出した場合（ステップＳ３０４でＹＥＳ）、ステップＳ３０５に進む。
【００２８】
ステップＳ３０５において、シーンチェンジ判定部２０３はフレーム間類似度計算部２０４を用いて、順番に注目するフレームと過去のフレーム群とのフレーム間類似性距離計算を行う。この過去のフレーム群とは、単数のフレームの場合も複数のフレームの場合もあり、特に、そのアルゴリズムは限定しない。
【００２９】
最も簡単な例を挙げると、まず、前のフレームと現在のフレームに対して、夫々のフレームを図４に示すように縦横に複数のブロック分割を行う。次に、それぞれのブロックに関してＲＧＢの平均値を算出しておき、前のフレームと現在のフレームの対応するブロック同士のＲＧＢ各チャンネルの差の二乗和を求める。そして、これをシーンチェンジの激しさの度合いを表すフレーム間類似性距離とし、これが小さいほど類似しており、大きいほど類似していない、即ち、シーンチェンジである可能性が大きいと取る方法がある。その計算式の一例を以下に示す。
【００３０】
【数１】
【００３１】
但し、ｉ：処理中のブロックをあらわす
Ｋ ：分割ブロック数
Ｐ１iR：直前のフレームのｉ番目のブロックのＲチャンネルの平均値
Ｐ１iG：直前のフレームのｉ番目のブロックのＧチャンネルの平均値
Ｐ１iB：直前のフレームのｉ番目のブロックのＢチャンネルの平均値
Ｐ２iR：現在のフレームのｉ番目のブロックのＲチャンネルの平均値
Ｐ２iG：現在のフレームのｉ番目のブロックのＧチャンネルの平均値
Ｐ２iB：現在のフレームのｉ番目のブロックのＢチャンネルの平均値
このフレーム間類似度計算結果に基づき、ステップＳ３０６において、シーンチェンジ判定部２０３はシーンチェンジの有無を判定する。シーンチェンジがない場合（ステップＳ３０６でＮＯ）、ステップＳ３０８に進む。一方、シーンチェンジが有る場合（ステップＳ３０６でＹＥＳ）、ステップＳ３０７において、入力された動画のＩＤ、シーンチェンジＩＤ、そのフレームをシーン開始フレームとして記憶し、そのシーンチェンジの激しさの度合いを表す類似度（または距離）を記憶する。これらの情報をシーンチェンジ情報と呼ぶこととする。ここで、このシーンチェンジ情報の一例について図５に示す。このシーンチェンジ情報は、シーンチェンジ情報蓄積部２０５で記憶される。
【００３２】
次に、ステップＳ３０８において、動画中の全フレームに対してシーンチェンジ判定を行ったか否かを判定する。全フレームに対してシーンチェンジ判定を行っていない場合（ステップＳ３０８でＮＯ）、ステップＳ３０５からステップＳ３０７を繰り返し、動画中の全シーンチェンジフレームとその距離の情報を得る。一方、全フレームに対してシーンチェンジ判定を行った場合（ステップＳ３０８でＹＥＳ）、処理を終了する。
【００３３】
以上がシーンチェンジ検出処理であり、この処理をシーン抽出の対象となる全動画に対して行う。
［シーン抽出処理］
次に、パターン画像を指定し、所望のシーンを抽出する処理であるシーン抽出処理について、図６を用いて説明する。
【００３４】
図６は本発明の実施形態のシーン抽出処理の処理手順を示すフローチャートである。
【００３５】
まず、ステップＳ５０１において、ユーザによってパターン画像指定部２０６でパターン画像が指定される。このとき、パターン画像は、例えば、シーンの先頭のフレームを現わす画像が指定される（例えば、テレビ番組中の特定のコーナーのタイトル画面等）。また、このパターン画像の指定の方法としては、例えば、ユーザがシーンの先頭のフレームと類似した画像を作成することが考えられる。次に、ステップＳ５０２において、シーン抽出部２０７はパターン画像指定部２０６で指定されたパターン画像をフレームとみなし、既に、検出済みのシーンチェンジフレームとの類似度を、フレーム間類似度計算部２０４を用いて計算する。この類似度算出方法は特に限定されないが、例えば、前述のシーンチェンジ検出処理で上げた方法が考えられる。シーンチェンジフレームは、シーンチェンジ情報蓄積部２０５からシーンチェンジ情報の動画ＩＤと開始フレームを参照して、このフレームをフレーム蓄積部２０９から取り出す。
【００３６】
次に、ステップＳ５０３において、シーン抽出部２０７はフレーム間類似度計算部２０４において算出された類似度に基づいて、パターン画像がシーンチェンジフレームと同一のフレームであるか否かを判定する。同一のフレームでない場合（ステップＳ５０３でＮＯ）、ステップＳ５０５に進む。一方、同一のフレームである場合（ステップＳ５０３でＹＥＳ）、ステップＳ５０４において、動画ＩＤとそのシーンチェンジフレームをシーンの開始フレームとし、次のシーンチェンジフレームの一つ前のフレームをシーンの終了フレームとして、抽出シーン一覧表示部２０８へ出力する。この抽出したシーンの一覧の一例を図７に示す。
【００３７】
次に、ステップＳ５０５において、全シーンチェンジフレームについてパターン画像との比較を行ったか否かを判定する。全シーンチェンジフレームについてパターン画像との比較を行っていない場合（ステップＳ５０５でＮＯ）、ステップＳ５０２からステップＳ５０４を繰り返し、全シーンチェンジフレームに対してパターン画像と同一のフレームではじまるシーンの抽出を行う。一方、全シーンチェンジフレームについてパターン画像との比較を行った場合（ステップＳ５０５でＹＥＳ）、ステップＳ５０６に進む。次に、ステップＳ５０６において、抽出シーン一覧表示部２０８は、抽出したシーンの一覧（図７）をユーザに対して表示する。
【００３８】
以上がシーン抽出処理である。
【００３９】
以上説明したように、本実施形態によれば、入力された動画中のシーンチェンジが自動的に検出され、ユーザはパターン画像を指定するだけで、パターン画像に対応するシーンの先頭／中途／最後のフレームを自動的に抽出できる。よって、ユーザによるシーンの発見、タイムコード一覧の作成などといった作業が不要となり、編集等の作業を効率的に行うことが可能となる。また、抽出したシーンを自動的に１本の動画にまとめることも可能である。
［他の実施形態］
尚、上記実施形態においては、ステップＳ３０２からステップＳ３０４において全フレームを抽出し、蓄積してから、ステップＳ３０５からステップＳ３０８においてシーンチェンジの判定を行ったが、フレームを取り出す毎に順次シーンチェンジの判定を行い、必要なフレーム（シーンチェンジのフレーム等）のみを蓄積しておいてもよい。
【００４０】
また、抽出したシーンの一覧（図７）そのものをユーザに対して表示したが、このシーン一覧をもとに一本の動画に編集し、これをユーザに表示してもよい。あるいは、プリンタを接続して記録媒体上に出力するようにしてもよい。
【００４１】
また、パターン画像の指定の方法を、ユーザが作成するとしたが、シーンチェンジ検出において検出されたシーンチェンジフレームをユーザに対して表示しておき、ユーザがこの中から選択するようにしてもよい。
【００４２】
また、パターン画像の指定の方法を、ユーザが作成するとしたが、ユーザが他の画像群の中から選択するようにしてもよい。
【００４３】
また、パターン画像に類似したフレームから始まる一つのシーンのみを抽出したが、ユーザがシーンの数を指定できるようにして、シーンチェンジ情報を基にパターン画像に類似したフレームから始まる指定数分のシーンを抽出することも可能である。また、このとき、パターン画像に類似したフレーム以前と以降それぞれについて、フレームの数を指定してもよい。
【００４４】
また、パターン画像に類似したフレームから始まる一つのシーンのみを抽出したが、ユーザがシーンの長さ（時間）を指定できるようにして、シーンチェンジ情報を基にシーンのフレーム数から時間を割り出し、類似したフレームから始まる指定時間分のシーンを抽出することも可能である。また、このとき、パターン画像に類似したフレーム以前と以降それぞれについて、シーンの長さ（時間）を指定してもよい。
【００４５】
また、パターン画像に類似したフレームから始まる一つのシーンのみを抽出したが、ステップＳ５０２において、シーンチェンジ情報からシーンチェンジの直前のフレームを取り出し、パターン画像と比較すれば、パターン画像に類似したフレームで終了するシーンを抽出することが可能である。
【００４６】
また、パターン画像に類似したフレームから始まる一つのシーンのみを抽出したが、ステップＳ５０２において、全フレームとパターン画像を比較して類似するフレームを見つけ出し、シーンチェンジ情報を参照してそのフレームが存在するシーンを求めれば、パターン画像に類似したフレームが含まれるシーンを抽出することが可能である。
【００４７】
尚、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００４８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００４９】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５０】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００５１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５２】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５３】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図３、図６に示すフローチャートに対応するプログラムコードが格納されることになる。
【００５４】
【発明の効果】
以上説明したように、本発明によれば、複数の動画素材から所望のシーン抽出を効率的に行うことができる画像処理装置及びその方法、コンピュータ可読メモリを提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態の画像処理装置の構成を示すブロック図である。
【図２】本発明の実施形態の画像処理装置の機能構成を示すブロック図である。
【図３】本発明の実施形態のシーンチェンジ検出処理の処理手順を示すフローチャートである。
【図４】本発明の実施形態のフレームのブロック分割の一例を示す図である。
【図５】本発明の実施形態のシーンチェンジ情報の一例を示す図である。
【図６】本発明の実施形態のシーン抽出処理の処理手順を示すフローチャートである。
【図７】本発明の実施形態の抽出シーン一覧の一例を示す図である。
【符号の説明】
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ キーボード
１０５ マウス
１０６ 外部記憶装置
１０７ 表示器
１０８ ＮＩＣ
１０９ ビデオＩ／Ｆ
１１０ ビデオカメラ
１１１ バス
１１２ ＶＴＲ
２０１ 動画入力部
２０２ フレーム抽出部
２０３ シーンチェンジ抽出部
２０４ フレーム間類似度計算部
２０５ シーンチェンジ情報蓄積部
２０６ パターン画像指定部
２０７ シーン抽出部
２０８ 抽出シーン一覧表示部
【発明の属する技術分野】
本発明は、動画を処理する画像処理装置及びその方法、コンピュータ可読メモリに関するものである。
【０００２】
【従来の技術】
ビデオカメラやＶＴＲ等によって集められた複数の動画素材から、特定のシーン（例えば、テレビ番組中の特定のタイトル画面から始まるコーナ、特定の人物が写っているシーン等）のみを抽出する場合、まず、ユーザがそれぞれの動画素材を早送りや再生等を繰り返して所望のシーンを検索し、そのシーンのタイムコードをメモしてタイムコード一覧を作成する。そして、この作成したタイムコード一覧をもとに、特定のシーンを寄せ集めて１つの動画にする等の編集作業を行っていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、複数の動画素材から特定のシーンを抽出するのに、ユーザによる早送りや再生などの操作、所望のシーンの検索、タイムコード一覧の作成など、非常な時間と労力を要していた。
【０００４】
本発明は上記の問題点に鑑みてなされたものであり、複数の動画素材から所望のシーン抽出を効率的に行うことができる画像処理装置及びその方法、コンピュータ可読メモリを提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
動画を処理する画像処理装置であって、
入力された動画を構成するフレームを抽出する抽出手段と、
前記抽出手段で抽出されたフレーム間を比較して、前記動画中のシーンチェンジを判定する判定手段と、
前記判定手段で判定されたシーンチェンジに関するシーンチェンジ情報を記憶する記憶手段と、
検索対象のシーンに対応する画像を指定する指定手段と、
前記記憶手段に記憶されたシーンチェンジ情報を参照して得られるシーンチェンジフレームと、前記指定手段で指定された画像とを比較する比較手段と、
前記比較手段の比較結果に基づいて、前記画像に対応するシーンを抽出する抽出手段と
を備える。
【０００６】
また、好ましくは、前記比較手段は、前記シーンチェンジフレームと前記指定手段により指定された画像との類似度を計算する計算手段を備え、
前記抽出手段は、前記計算手段の計算結果に基づいて、前記画像に対応するシーンを抽出する。
【０００７】
また、好ましくは、前記抽出手段で抽出されたシーンに関するシーン情報を出力する出力手段を
更に備える。
【０００８】
また、好ましくは、前記出力手段は、前記抽出手段で抽出されたシーンを編集し、一つの動画にまとめて出力する。
【０００９】
また、好ましくは、前記指定手段は、検索対象のシーンの先頭／中途／最後のフレームのいずれかに対応するパターン画像を指定する。
【００１０】
また、好ましくは、前記指定手段は、更に、抽出するシーンの数を指定可能とする。
【００１１】
また、好ましくは、前記指定手段は、更に、抽出するシーンの時間を指定可能とする。
【００１２】
また、好ましくは、前記指定手段は、更に、抽出するシーンの数を前記パターン画像に対応するフレームの前後それぞれについて指定可能とする。
【００１３】
また、好ましくは、前記指定手段は、更に、抽出するシーンの時間を前記パターン画像に対応するフレームの前後それぞれについて指定可能とする。
【００１４】
上記の目的を達成するための本発明による画像処理方法は以下の構成を備える。即ち、
動画を処理する画像処理方法であって、
入力された動画を構成するフレームを抽出する抽出工程と、
前記抽出工程で抽出されたフレーム間を比較して、前記動画中のシーンチェンジを判定する判定工程と、
前記判定工程で判定されたシーンチェンジに関するシーンチェンジ情報を記憶媒体に記憶する記憶工程と、
検索対象のシーンに対応する画像を指定する指定工程と、
前記記憶媒体に記憶されたシーンチェンジ情報を参照して得られるシーンチェンジフレームと、前記指定工程で指定された画像とを比較する比較工程と、
前記比較工程の比較結果に基づいて、前記画像に対応するシーンを抽出する抽出工程と
を備える。
【００１５】
上記の目的を達成するための本発明によるコンピュータ可読メモリは以下の構成を備える。即ち、
動画を処理する画像処理のプログラムコードが格納されたコンピュータ可読メモリであって、
入力された動画を構成するフレームを抽出する抽出工程のプログラムコードと、
前記抽出工程で抽出されたフレーム間を比較して、前記動画中のシーンチェンジを判定する判定工程のプログラムコードと、
前記判定工程で判定されたシーンチェンジに関するシーンチェンジ情報を記憶媒体に記憶する記憶工程のプログラムコードと、
検索対象のシーンに対応する画像を指定する指定工程とのプログラムコード、前記記憶媒体に記憶されたシーンチェンジ情報を参照して得られるシーンチェンジフレームと、前記指定工程で指定された画像とを比較する比較工程のプログラムコードと、
前記比較工程の比較結果に基づいて、前記画像に対応するシーンを抽出する抽出工程のプログラムコードと
を備える。
【００１６】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な一実施形態を詳細に説明する。
【００１７】
図１は本発明の実施形態の画像処理装置の構成を示すブロック図である。
【００１８】
同図において、１０１はＣＰＵであり、本画像処理装置の各種構成要素における各種制御を実行する。１０２はＲＯＭであり、本画像処理装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。１０３はＲＡＭであり、ＣＰＵ１０１が処理するための制御プログラムを格納するとともに、ＣＰＵ１０１が各種制御を実行する際の作業領域を提供する。１０４はキーボード、１０５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００１９】
１０６は外部記憶装置であり、ハードディスクやフロッピーディスク、ＣＤ−ＲＯＭ等で構成される。１０７は表示器であり、ＣＲＴやＬＣＤなどで構成され、処理結果等をユーザに対して表示する。１０８はネットワークインタフェースコントローラ（ＮＩＣ）であり、ネットワーク上の各機器との通信を可能とする。１０９はビデオインタフェース（Ｉ／Ｆ）であり、ビデオカメラ１１０や、ＶＴＲ１１２からの動画を取り込みを可能とする。また、１１１は各種構成要素を相互に接続するバスである。
【００２０】
尚、上記各種構成においてビデオカメラ１１０、ＶＴＲ１１２や外部記憶装置１０６はネットワーク上に配置されたもので代用してもよい。
【００２１】
次に、本実施形態の画像処理装置の機能構成について、図２を用いて説明する。
【００２２】
図２は本発明の実施形態の画像処理装置の機能構成を示すブロック図である。同図において、２０１は動画入力部であり、ビデオカメラ１１０、ＶＴＲ１１２等からビデオＩ／Ｆ１０９を介して取り込んだ動画、またはネットワーク上からＮＩＣ１０８を介して取り込んだ動画を入力する。２０２はフレーム抽出部であり、入力された動画を構成するフレーム（画像）を順番に抽出する。２０９はフレーム蓄積部であり、フレーム抽出部２０２で抽出されたフレームを蓄積する。２０３はシーンチェンジ判定部であり、各フレームをフレーム間類似度計算部２０４を用いて動画中のシーンチェンジを判定する。
【００２３】
２０４はフレーム間類似度計算部であり、フレーム間の類似度を計算する。２０５はシーンチェンジ情報蓄積部であり、シーンチェンジ判定部２０３で判定されたシーンチェンジに関する情報を蓄積する。２０６はパターン画像指定部であり、ユーザがキーボード１０４、マウス１０５を用いてパターン画像を指定する。２０７はシーン抽出部であり、パターン画像指定部２０６で指定されたパターン画像と、シーンチェンジ情報蓄積部２０５を参照して得られるシーンチェンジの起っているフレームとをフレーム類似度計算部２０４を用いて比較し、パターン画像に対応する所望のシーンを抽出する。２０８は抽出シーン一覧表示部であり、シーン抽出部２０７で抽出したシーンに関する情報の一覧を表示器１０７を用いてユーザに表示する。
【００２４】
以上のような構成を備えた本実施形態のシーン抽出機能を有する画像処理装置の動作例について、以下に説明する。
［シーンチェンジ検出処理］
まず、動画を登録し、シーンチェンジを検出する処理であるシーン検出処理について、図３を用いて説明する。
【００２５】
図３は本発明の実施形態のシーンチェンジ検出処理の処理手順を示すフローチャートである。
【００２６】
まず、ステップＳ３０１において、動画入力部２０１によって処理対象となる動画が入力される。次に、ステップＳ３０２において、フレーム抽出部２０２が入力された動画から１フレームづつフレームを取り出す処理を行なう。そして、フレーム抽出部２０２は、ステップＳ３０３において、取り出したフレームをフレーム蓄積部２０９に蓄積する。
【００２７】
ステップＳ３０４において、入力された動画の全フレームを抽出したか否かを判定する。全フレームを抽出していない場合（ステップＳ３０４でＮＯ）、ステップＳ３０２、ステップＳ３０３を繰り返す。一方、全フレームを抽出した場合（ステップＳ３０４でＹＥＳ）、ステップＳ３０５に進む。
【００２８】
ステップＳ３０５において、シーンチェンジ判定部２０３はフレーム間類似度計算部２０４を用いて、順番に注目するフレームと過去のフレーム群とのフレーム間類似性距離計算を行う。この過去のフレーム群とは、単数のフレームの場合も複数のフレームの場合もあり、特に、そのアルゴリズムは限定しない。
【００２９】
最も簡単な例を挙げると、まず、前のフレームと現在のフレームに対して、夫々のフレームを図４に示すように縦横に複数のブロック分割を行う。次に、それぞれのブロックに関してＲＧＢの平均値を算出しておき、前のフレームと現在のフレームの対応するブロック同士のＲＧＢ各チャンネルの差の二乗和を求める。そして、これをシーンチェンジの激しさの度合いを表すフレーム間類似性距離とし、これが小さいほど類似しており、大きいほど類似していない、即ち、シーンチェンジである可能性が大きいと取る方法がある。その計算式の一例を以下に示す。
【００３０】
【数１】
但し、ｉ：処理中のブロックをあらわす
Ｋ ：分割ブロック数
Ｐ１iR：直前のフレームのｉ番目のブロックのＲチャンネルの平均値
Ｐ１iG：直前のフレームのｉ番目のブロックのＧチャンネルの平均値
Ｐ１iB：直前のフレームのｉ番目のブロックのＢチャンネルの平均値
Ｐ２iR：現在のフレームのｉ番目のブロックのＲチャンネルの平均値
Ｐ２iG：現在のフレームのｉ番目のブロックのＧチャンネルの平均値
Ｐ２iB：現在のフレームのｉ番目のブロックのＢチャンネルの平均値
このフレーム間類似度計算結果に基づき、ステップＳ３０６において、シーンチェンジ判定部２０３はシーンチェンジの有無を判定する。シーンチェンジがない場合（ステップＳ３０６でＮＯ）、ステップＳ３０８に進む。一方、シーンチェンジが有る場合（ステップＳ３０６でＹＥＳ）、ステップＳ３０７において、入力された動画のＩＤ、シーンチェンジＩＤ、そのフレームをシーン開始フレームとして記憶し、そのシーンチェンジの激しさの度合いを表す類似度（または距離）を記憶する。これらの情報をシーンチェンジ情報と呼ぶこととする。ここで、このシーンチェンジ情報の一例について図５に示す。このシーンチェンジ情報は、シーンチェンジ情報蓄積部２０５で記憶される。
【００３２】
次に、ステップＳ３０８において、動画中の全フレームに対してシーンチェンジ判定を行ったか否かを判定する。全フレームに対してシーンチェンジ判定を行っていない場合（ステップＳ３０８でＮＯ）、ステップＳ３０５からステップＳ３０７を繰り返し、動画中の全シーンチェンジフレームとその距離の情報を得る。一方、全フレームに対してシーンチェンジ判定を行った場合（ステップＳ３０８でＹＥＳ）、処理を終了する。
【００３３】
以上がシーンチェンジ検出処理であり、この処理をシーン抽出の対象となる全動画に対して行う。
［シーン抽出処理］
次に、パターン画像を指定し、所望のシーンを抽出する処理であるシーン抽出処理について、図６を用いて説明する。
【００３４】
図６は本発明の実施形態のシーン抽出処理の処理手順を示すフローチャートである。
【００３５】
まず、ステップＳ５０１において、ユーザによってパターン画像指定部２０６でパターン画像が指定される。このとき、パターン画像は、例えば、シーンの先頭のフレームを現わす画像が指定される（例えば、テレビ番組中の特定のコーナーのタイトル画面等）。また、このパターン画像の指定の方法としては、例えば、ユーザがシーンの先頭のフレームと類似した画像を作成することが考えられる。次に、ステップＳ５０２において、シーン抽出部２０７はパターン画像指定部２０６で指定されたパターン画像をフレームとみなし、既に、検出済みのシーンチェンジフレームとの類似度を、フレーム間類似度計算部２０４を用いて計算する。この類似度算出方法は特に限定されないが、例えば、前述のシーンチェンジ検出処理で上げた方法が考えられる。シーンチェンジフレームは、シーンチェンジ情報蓄積部２０５からシーンチェンジ情報の動画ＩＤと開始フレームを参照して、このフレームをフレーム蓄積部２０９から取り出す。
【００３６】
次に、ステップＳ５０３において、シーン抽出部２０７はフレーム間類似度計算部２０４において算出された類似度に基づいて、パターン画像がシーンチェンジフレームと同一のフレームであるか否かを判定する。同一のフレームでない場合（ステップＳ５０３でＮＯ）、ステップＳ５０５に進む。一方、同一のフレームである場合（ステップＳ５０３でＹＥＳ）、ステップＳ５０４において、動画ＩＤとそのシーンチェンジフレームをシーンの開始フレームとし、次のシーンチェンジフレームの一つ前のフレームをシーンの終了フレームとして、抽出シーン一覧表示部２０８へ出力する。この抽出したシーンの一覧の一例を図７に示す。
【００３７】
次に、ステップＳ５０５において、全シーンチェンジフレームについてパターン画像との比較を行ったか否かを判定する。全シーンチェンジフレームについてパターン画像との比較を行っていない場合（ステップＳ５０５でＮＯ）、ステップＳ５０２からステップＳ５０４を繰り返し、全シーンチェンジフレームに対してパターン画像と同一のフレームではじまるシーンの抽出を行う。一方、全シーンチェンジフレームについてパターン画像との比較を行った場合（ステップＳ５０５でＹＥＳ）、ステップＳ５０６に進む。次に、ステップＳ５０６において、抽出シーン一覧表示部２０８は、抽出したシーンの一覧（図７）をユーザに対して表示する。
【００３８】
以上がシーン抽出処理である。
【００３９】
以上説明したように、本実施形態によれば、入力された動画中のシーンチェンジが自動的に検出され、ユーザはパターン画像を指定するだけで、パターン画像に対応するシーンの先頭／中途／最後のフレームを自動的に抽出できる。よって、ユーザによるシーンの発見、タイムコード一覧の作成などといった作業が不要となり、編集等の作業を効率的に行うことが可能となる。また、抽出したシーンを自動的に１本の動画にまとめることも可能である。
［他の実施形態］
尚、上記実施形態においては、ステップＳ３０２からステップＳ３０４において全フレームを抽出し、蓄積してから、ステップＳ３０５からステップＳ３０８においてシーンチェンジの判定を行ったが、フレームを取り出す毎に順次シーンチェンジの判定を行い、必要なフレーム（シーンチェンジのフレーム等）のみを蓄積しておいてもよい。
【００４０】
また、抽出したシーンの一覧（図７）そのものをユーザに対して表示したが、このシーン一覧をもとに一本の動画に編集し、これをユーザに表示してもよい。あるいは、プリンタを接続して記録媒体上に出力するようにしてもよい。
【００４１】
また、パターン画像の指定の方法を、ユーザが作成するとしたが、シーンチェンジ検出において検出されたシーンチェンジフレームをユーザに対して表示しておき、ユーザがこの中から選択するようにしてもよい。
【００４２】
また、パターン画像の指定の方法を、ユーザが作成するとしたが、ユーザが他の画像群の中から選択するようにしてもよい。
【００４３】
また、パターン画像に類似したフレームから始まる一つのシーンのみを抽出したが、ユーザがシーンの数を指定できるようにして、シーンチェンジ情報を基にパターン画像に類似したフレームから始まる指定数分のシーンを抽出することも可能である。また、このとき、パターン画像に類似したフレーム以前と以降それぞれについて、フレームの数を指定してもよい。
【００４４】
また、パターン画像に類似したフレームから始まる一つのシーンのみを抽出したが、ユーザがシーンの長さ（時間）を指定できるようにして、シーンチェンジ情報を基にシーンのフレーム数から時間を割り出し、類似したフレームから始まる指定時間分のシーンを抽出することも可能である。また、このとき、パターン画像に類似したフレーム以前と以降それぞれについて、シーンの長さ（時間）を指定してもよい。
【００４５】
また、パターン画像に類似したフレームから始まる一つのシーンのみを抽出したが、ステップＳ５０２において、シーンチェンジ情報からシーンチェンジの直前のフレームを取り出し、パターン画像と比較すれば、パターン画像に類似したフレームで終了するシーンを抽出することが可能である。
【００４６】
また、パターン画像に類似したフレームから始まる一つのシーンのみを抽出したが、ステップＳ５０２において、全フレームとパターン画像を比較して類似するフレームを見つけ出し、シーンチェンジ情報を参照してそのフレームが存在するシーンを求めれば、パターン画像に類似したフレームが含まれるシーンを抽出することが可能である。
【００４７】
尚、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００４８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００４９】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５０】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００５１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５２】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５３】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図３、図６に示すフローチャートに対応するプログラムコードが格納されることになる。
【００５４】
【発明の効果】
以上説明したように、本発明によれば、複数の動画素材から所望のシーン抽出を効率的に行うことができる画像処理装置及びその方法、コンピュータ可読メモリを提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態の画像処理装置の構成を示すブロック図である。
【図２】本発明の実施形態の画像処理装置の機能構成を示すブロック図である。
【図３】本発明の実施形態のシーンチェンジ検出処理の処理手順を示すフローチャートである。
【図４】本発明の実施形態のフレームのブロック分割の一例を示す図である。
【図５】本発明の実施形態のシーンチェンジ情報の一例を示す図である。
【図６】本発明の実施形態のシーン抽出処理の処理手順を示すフローチャートである。
【図７】本発明の実施形態の抽出シーン一覧の一例を示す図である。
【符号の説明】
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ キーボード
１０５ マウス
１０６ 外部記憶装置
１０７ 表示器
１０８ ＮＩＣ
１０９ ビデオＩ／Ｆ
１１０ ビデオカメラ
１１１ バス
１１２ ＶＴＲ
２０１ 動画入力部
２０２ フレーム抽出部
２０３ シーンチェンジ抽出部
２０４ フレーム間類似度計算部
２０５ シーンチェンジ情報蓄積部
２０６ パターン画像指定部
２０７ シーン抽出部
２０８ 抽出シーン一覧表示部
Claims (16)
- シーンチェンジ情報を有する動画を処理する画像処理装置であって、
検索対象のシーンに対応する画像と、前記シーンを抽出するためのフレーム数を指定する指定手段と、
前記シーンチェンジ情報を参照して得られるシーンチェンジフレームと、前記指定手段で指定された画像とを比較する比較手段と、
前記比較手段の比較結果に基づいて、前記指定手段で指定された画像に対応するフレームを含む前記フレーム数分のシーン群を前記動画から抽出する抽出手段と、
前記抽出手段で抽出されたシーン群を１つの動画にまとめて出力する出力手段と
を備えることを特徴とする画像処理装置。 - シーンチェンジ情報を有する動画を処理する画像処理装置であって、
検索対象のシーンに対応する画像と、前記シーンを抽出するための時間を指定する指定手段と、
前記シーンチェンジ情報を参照して得られるシーンチェンジフレームと、前記指定手段で指定された画像とを比較する比較手段と、
前記比較手段の比較結果に基づいて、前記指定手段で指定された画像に対応するフレームを含む前記時間分のシーン群を前記動画から抽出する抽出手段と、
前記抽出手段で抽出されたシーン群を１つの動画にまとめて出力する出力手段と
を備えることを特徴とする画像処理装置。 - 前記比較手段は、前記シーンチェンジフレームと前記指定手段により指定された画像との類似度を計算する計算手段を備え、
前記抽出手段は、前記計算手段の計算結果に基づいて、前記指定手段で指定された画像に対応するフレームを含む前記フレーム数分のシーン群を、前記動画から抽出する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記比較手段は、前記シーンチェンジフレームと前記指定手段により指定された画像との類似度を計算する計算手段を備え、
前記抽出手段は、前記計算手段の計算結果に基づいて、前記指定手段で指定された画像に対応するフレームを含む前記時間分のシーン群を、前記動画から抽出する
ことを特徴とする請求項２に記載の画像処理装置。 - 前記指定手段は、検索対象のシーンの先頭／中途／最後のフレームのいずれかに対応するパターン画像を指定する
ことを特徴とする請求項１または２に記載の画像処理装置。 - 前記指定手段は、更に、抽出するシーンのフレーム数を前記パターン画像に対応するフレームの前後それぞれについて指定可能とする
ことを特徴とする請求項１に記載の画像処理装置。 - 前記指定手段は、更に、抽出するシーンの時間を前記パターン画像に対応するフレームの前後それぞれについて指定可能とする
ことを特徴とする請求項２に記載の画像処理装置。 - シーンチェンジ情報を有する動画を処理する画像処理方法であって、
検索対象のシーンに対応する画像と、前記シーンを抽出するためのフレーム数を指定する指定工程と、
前記シーンチェンジ情報を参照して得られるシーンチェンジフレームと、前記指定工程で指定された画像とを比較する比較工程と、
前記比較工程の比較結果に基づいて、前記指定工程で指定された画像に対応するフレームを含む前記フレーム数分のシーン群を前記動画から抽出する抽出工程と、
前記抽出工程で抽出されたシーン群を１つの動画にまとめて出力する出力工程と
を備えることを特徴とする画像処理方法。 - シーンチェンジ情報を有する動画を処理する画像処理方法であって、
検索対象のシーンに対応する画像と、前記シーンを抽出するための時間を指定する指定工程と、
前記シーンチェンジ情報を参照して得られるシーンチェンジフレームと、前記指定工程で指定された画像とを比較する比較工程と、
前記比較工程の比較結果に基づいて、前記指定工程で指定された画像に対応するフレームを含む前記時間分のシーン群を前記動画から抽出する抽出工程と、
前記抽出工程で抽出されたシーン群を１つの動画にまとめて出力する出力工程と
を備えることを特徴とする画像処理方法。 - 前記比較工程は、前記シーンチェンジフレームと前記指定工程により指定された画像との類似度を計算する計算工程を備え、
前記抽出工程は、前記計算工程の計算結果に基づいて、前記指定工程で指定された画像に対応するフレームを含む前記フレーム数分のシーン群を、前記動画から抽出する
ことを特徴とする請求項８に記載の画像処理方法。 - 前記比較工程は、前記シーンチェンジフレームと前記指定工程により指定された画像との類似度を計算する計算工程を備え、
前記抽出工程は、前記計算工程の計算結果に基づいて、前記指定工程で指定された画像に対応するフレームを含む前記時間分のシーン群を、前記動画から抽出する
ことを特徴とする請求項９に記載の画像処理方法。 - 前記指定工程は、検索対象のシーンの先頭／中途／最後のフレームのいずれかに対応するパターン画像を指定する
ことを特徴とする請求項８または９に記載の画像処理方法。 - 前記指定工程は、更に、抽出するシーンのフレーム数を前記パターン画像に対応するフレームの前後それぞれについて指定可能とする
ことを特徴とする請求項８に記載の画像処理方法。 - 前記指定工程は、更に、抽出するシーンの時間を前記パターン画像に対応するフレームの前後それぞれについて指定可能とする
ことを特徴とする請求項９に記載の画像処理方法。 - シーンチェンジ情報を有する動画を処理する画像処理のプログラムが格納されたコンピュータ可読メモリであって、
検索対象のシーンに対応する画像と、前記シーンを抽出するためのフレーム数を指定する指定工程のプログラムコードと、
前記シーンチェンジ情報を参照して得られるシーンチェンジフレームと、前記指定工程で指定された画像とを比較する比較工程のプログラムコードと、
前記比較工程の比較結果に基づいて、前記指定工程で指定された画像に対応するフレームを含む前記フレーム数分のシーン群を前記動画から抽出する抽出工程のプログラムコードと、
前記抽出工程で抽出されたシーン群を１つの動画にまとめて出力する出力工程のプログラムコードと
を備えることを特徴とするコンピュータ可読メモリ。 - シーンチェンジ情報を有する動画を処理する画像処理のプログラムが格納されたコンピュータ可読メモリであって、
検索対象のシーンに対応する画像と、前記シーンを抽出するための時間を指定する指定工程のプログラムコードと、
前記シーンチェンジ情報を参照して得られるシーンチェンジフレームと、前記指定工程で指定された画像とを比較する比較工程のプログラムコードと、
前記比較工程の比較結果に基づいて、前記指定工程で指定された画像に対応するフレームを含む前記時間分のシーン群を前記動画から抽出する抽出工程のプログラムコードと、
前記抽出工程で抽出されたシーン群を１つの動画にまとめて出力する出力工程のプログラムコードと
を備えることを特徴とするコンピュータ可読メモリ。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03651299A JP3897476B2 (ja) | 1999-02-15 | 1999-02-15 | 画像処理装置及びその方法、コンピュータ可読メモリ |
| US09/503,476 US7170935B2 (en) | 1999-02-15 | 2000-02-14 | Image processing apparatus and method, and computer-readable memory |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03651299A JP3897476B2 (ja) | 1999-02-15 | 1999-02-15 | 画像処理装置及びその方法、コンピュータ可読メモリ |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000236493A JP2000236493A (ja) | 2000-08-29 |
| JP2000236493A5 JP2000236493A5 (ja) | 2005-03-17 |
| JP3897476B2 true JP3897476B2 (ja) | 2007-03-22 |
Family
ID=12471894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03651299A Expired - Fee Related JP3897476B2 (ja) | 1999-02-15 | 1999-02-15 | 画像処理装置及びその方法、コンピュータ可読メモリ |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7170935B2 (ja) |
| JP (1) | JP3897476B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI236294B (en) * | 2001-05-11 | 2005-07-11 | Ulead Systems Inc | Method and device for capturing digital video |
| US7224892B2 (en) * | 2001-06-26 | 2007-05-29 | Canon Kabushiki Kaisha | Moving image recording apparatus and method, moving image reproducing apparatus, moving image recording and reproducing method, and programs and storage media |
| JP4497761B2 (ja) * | 2001-07-18 | 2010-07-07 | キヤノン株式会社 | 画像処理装置及びインデックス作成方法 |
| JP4335492B2 (ja) * | 2002-03-05 | 2009-09-30 | キヤノン株式会社 | 動画像管理方法及び装置 |
| JP4405831B2 (ja) * | 2003-05-20 | 2010-01-27 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム |
| KR20060131761A (ko) * | 2003-11-27 | 2006-12-20 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | Ｄｖ 비디오에서 챕터 마커 및 타이틀 경계 삽입을 위한방법 및 시스템 |
| JP2006119723A (ja) * | 2004-10-19 | 2006-05-11 | Canon Inc | 画像処理装置、画像処理方法 |
| JP5247356B2 (ja) * | 2008-10-29 | 2013-07-24 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
| JP5483863B2 (ja) * | 2008-11-12 | 2014-05-07 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
| US20140086557A1 (en) * | 2012-09-25 | 2014-03-27 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
| CN104240224B (zh) * | 2013-06-20 | 2018-04-27 | 富泰华工业（深圳）有限公司 | 视频分析***及方法 |
| CN117205549A (zh) * | 2022-11-30 | 2023-12-12 | 腾讯科技（深圳）有限公司 | 画面渲染方法、装置、设备、存储介质及程序产品 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IT1257073B (it) * | 1992-08-11 | 1996-01-05 | Ist Trentino Di Cultura | Sistema di riconoscimento, particolarmente per il riconoscimento di persone. |
| JP2518503B2 (ja) * | 1993-03-08 | 1996-07-24 | 日本電気株式会社 | 画面切り替え検出方法 |
| JP3340532B2 (ja) * | 1993-10-20 | 2002-11-05 | 株式会社日立製作所 | ビデオの検索方法および装置 |
| US6195497B1 (en) * | 1993-10-25 | 2001-02-27 | Hitachi, Ltd. | Associated image retrieving apparatus and method |
| JP3258840B2 (ja) * | 1994-12-27 | 2002-02-18 | シャープ株式会社 | 動画像符号化装置および領域抽出装置 |
| KR100215451B1 (ko) * | 1996-05-29 | 1999-08-16 | 윤종용 | 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템 |
| US8107015B1 (en) * | 1996-06-07 | 2012-01-31 | Virage, Incorporated | Key frame selection |
| JP3211679B2 (ja) * | 1996-09-25 | 2001-09-25 | 松下電器産業株式会社 | 編集装置および編集方法 |
| JP3198980B2 (ja) * | 1996-10-22 | 2001-08-13 | 松下電器産業株式会社 | 画像表示装置及び動画像検索システム |
| JP3780623B2 (ja) * | 1997-05-16 | 2006-05-31 | 株式会社日立製作所 | 動画像の記述方法 |
| US6118924A (en) * | 1997-09-17 | 2000-09-12 | Matsushita Electric Industrial Co., Ltd. | Optical disc recording apparatus computer-readable recording medium recording a file management program, and optical disc |
-
1999
- 1999-02-15 JP JP03651299A patent/JP3897476B2/ja not_active Expired - Fee Related
-
2000
- 2000-02-14 US US09/503,476 patent/US7170935B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000236493A (ja) | 2000-08-29 |
| US20030086021A1 (en) | 2003-05-08 |
| US7170935B2 (en) | 2007-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6704029B1 (en) | Method and apparatus for specifying scene information in a moving picture | |
| US9672411B2 (en) | Information processing apparatus and method, and program | |
| KR100602315B1 (ko) | 동화상데이터 관리장치 및 방법 | |
| US8782563B2 (en) | Information processing apparatus and method, and program | |
| US7808555B2 (en) | Image display method and image display apparatus with zoom-in to face area of still image | |
| US8064656B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and computer program | |
| US8253794B2 (en) | Image processing apparatus and image display method | |
| JP3897476B2 (ja) | 画像処理装置及びその方法、コンピュータ可読メモリ | |
| EP1494137A2 (en) | Video retrieving system and method | |
| US20130236162A1 (en) | Video editing apparatus and method for guiding video feature information | |
| US20020140826A1 (en) | Photographing apparatus, a method for controlling recording of a moving picture or a still picture, and an image editing apparatus | |
| US9071806B2 (en) | Reproducing apparatus | |
| JP4536940B2 (ja) | 画像処理装置、画像処理方法、記憶媒体、及びコンピュータプログラム | |
| JP4490214B2 (ja) | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム | |
| JP2011090476A (ja) | 類似画像検索システム、および、類似画像検索方法 | |
| JPH113346A (ja) | 動画像ファイル管理装置 | |
| JP2009212935A (ja) | 画像処理装置および方法、並びにプログラム | |
| KR102066857B1 (ko) | 객체 영상 트랙킹 스트리밍 시스템 및 이를 이용한 스트리밍 방법 | |
| KR100340030B1 (ko) | 대표이미지를 이용한 요약비디오 생성 시스템 및 그 방법 | |
| JP2005318618A (ja) | 動画像管理装置及び方法 | |
| JP2000235637A (ja) | 画像処理システム及び画像処理方法 | |
| JP4144835B2 (ja) | 動画像処理装置及びその方法、コンピュータ可読メモリ | |
| JP2011087105A (ja) | 画像処理装置及びその制御方法、並びにプログラム及び媒体 | |
| JP2000261744A (ja) | 被写体情報取得機能付き編集用映像撮影方法及び装置並びに該方法を記述したプログラムを記録した記憶媒体 | |
| JP2012004713A (ja) | 画像処理装置、画像処理装置の制御方法、プログラム、及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040422 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040422 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20040422 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040422 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060915 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061219 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140105 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |