JP4656680B2 - 画像検索情報記録装置及び画像検索装置 - Google Patents
画像検索情報記録装置及び画像検索装置 Download PDFInfo
- Publication number
- JP4656680B2 JP4656680B2 JP33865898A JP33865898A JP4656680B2 JP 4656680 B2 JP4656680 B2 JP 4656680B2 JP 33865898 A JP33865898 A JP 33865898A JP 33865898 A JP33865898 A JP 33865898A JP 4656680 B2 JP4656680 B2 JP 4656680B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- feature
- information
- image search
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、蓄積された複数の符号化された画像データから所望の画像を検索するために用いる画像検索情報の生成、記録と、該画像検索情報を用いた画像検索の実現方法に関するものである。
【０００２】
【従来の技術】
動画像を検索する場合、その動画像が何を撮影したものであるかといった動画像の内容を知ることが重要である。そのためには、文字のタイトルや説明文がついているといった場合を除けば、殆どの場合、動画像全体を再生して内容を確認する必要がある。しかし、検索対象となる動画像の数が増えるにつれ、全ての動画像を逐一再生して確認していたのでは利用者の負担は重くなり、検索効率としても甚だ悪い。各動画像が符号化された圧縮データであり復号処理を行った上で再生し検索するといった状況では、更にそれが顕著である。この問題を解決する一つの方法として、動画像の内容を端的に表す動画像内の特徴的なフレームを一枚あるいは複数枚抽出し、それらを表示することで動画像の概略的な内容を表示する検索方式が有効であると考えられる。
【０００３】
動画像検索における特徴的なフレーム（以下、特徴フレームと呼ぶ）としては、例えばシーンチェンジフレームがある。特開平９―２６１６４８では、フレーム間予測符号化方式により符号化された画像データに対して、画像データに含まれる予測モード情報からシーンチェンジフレームを抽出する手法が述べられている。１フレームに亘って、フレーム内予測方式で符号化されたＩブロック、前方向フレーム間予測方式で符号化されたＰブロック、後方向フレーム間予測方式で符号化されたＢブロック、双方向フレーム間予測方式で符号化されたＢｉブロックのそれぞれを計数する。この時、この各ブロックの頻度情報は動画像中のフレーム間の相関を反映することから、各ブロックの頻度情報に基づいてシーンが変化した直後のフレーム（＝シーンチェンジフレーム）を検出する。また、特開平１０―２３４２１では、符号化された画像データに含まれる符号化情報各々の符号量の変化から、シーンチェンジフレームを抽出する手法が述べられている。これらの従来技術に基づいた従来の画像検索情報記録装置を図示すると、図１４のようになる。
【０００４】
符号化情報読出部１４０１は、符号化された画像データから、特開平９―２６１６４８においてはブロック毎の予測モード情報を、特開平１０―２３４２１においては各符号化情報を種類別に読み出す。次に、フレーム特徴量生成部１４０２は、符号化情報読出部１４０１で読み出された各種符号化情報から、特開平９―２６１６４８においては各予測モードブロックの頻度を、特開平１０―２３４２１においては各符号化情報別の符号量の累積値を算出する。インデックス情報生成部１３０３は、フレーム特徴量生成部１３０２で求められたフレーム毎の特徴量、特開平９−２６１６４８では各予測モードブロックの頻度情報、特開平１０−２３４２１では各符号化情報別の累積符号量、を基に特徴フレームであるシーンチェンジフレームを決定し、その位置情報をインデックス情報として出力する。最後に、インデックス情報記録部１４０４は、インデックス情報生成部１４０３から出力されたインデックス情報を画像検索情報として記録する。一方、図１５は、こうして記録された画像検索情報を用いた従来の画像検索装置を表している。画像検索実行部１５０１において、画像検索情報及び符号化された画像データを入力として実際の検索を実行し、検索結果が出力される。
【０００５】
また、シーンチェンジフレーム以外の特徴フレームとしては、特開平９−２８４７０２で述べている、動きの緩急に基づくシーン変化フレームがある。特開平９−２８４７０２は、符号化情報からではなく原画像からシーン変化フレーム検出用の動きベクトルを独立して求め、フレーム内の動きベクトルの総和を基にシーン変化フレームを検出している。
【０００６】
【発明が解決しようとする課題】
上記従来の画像検索情報記録装置では、抽出された特徴フレームからその位置情報を求め、その位置情報のみをインデックス情報として記録していた。そのため、検索対象である複数の画像がそれぞれに異なる特徴を有する場合でも、同一の特徴を表現した特徴フレームしか得られず、各画像の特徴に合わせた特徴フレームを得たければ、符号化画像データまで戻って画像検索情報の生成を行わなければならなかった。検索の過程で、検索対象画像に関する様々な特徴に対応した特徴フレームを対話的に取り出すといった局面では、符号化画像データまで戻って画像検索情報の生成を行うことは、非常に検索効率を低下させる。また、全画像データに対して、考えられる全ての特徴に対応した特徴フレームインデックスを用意しておくことも現実的ではなく、更に、画像検索情報提供者が予期し得なかった特徴フレームの要求に対しても、従来技術では効率良く対処することができない。
【０００７】
本発明はこれらの問題点を鑑みてなされたものであり、特徴フレーム抽出に利用する符号化情報あるいは特徴フレームを抽出するための各フレームに対する特徴量を記録することで、検索過程で適応的に特徴フレームを抽出することを可能とするものである。
【０００８】
【課題を解決するための手段】
本発明の請求項１によれば、画像データに基づいて、フレームの特徴を数値化したフレーム特徴量を、フレームそれぞれについて求めるフレーム特徴量生成部と、フレーム特徴量生成部に接続され、画像データのフレームと対応した形式でフレーム特徴量を記録する記録部とを備え、フレーム特徴量生成部により、フレーム特徴量は、画像データに関連する動きベクトル情報の統計量により求められることにより、上記課題を解決する。
【０００９】
本発明の請求項２によれば、画像データは符号化されたデータであり、符号化されたデータから動きベクトル情報を読み出す読出部をさらに備え、フレーム特徴量生成部は、読出部で読み出された動きベクトル情報に基づいて、フレーム特徴量を生成することにより、上記課題を解決する。
【００１０】
本発明の請求項３によれば、統計量は、フレームの前および後の少なくとも一方のフレームに対して算出された複数の動きベクトルの長さの平均値であることにより上記課題を解決する。
【００１１】
本発明の請求項４によれば、画像データのフレームと対応した形式で記録されている、フレームの特徴を数値化した各フレームのフレーム特徴量に基づいて、画像データ中の特徴フレームを決定し、フレーム特徴量よりも情報量が少ない情報であって、特徴フレームの位置情報であるインデックス情報を生成するインデックス情報生成部と、インデックス情報生成部に接続され、インデックス情報を受け取り、インデックス情報で指定されたインデックス画像を出力する出力部とを備え、フレーム特徴量は、画像データに関連する動きベクトル情報を解析して求められることにより、上記課題を解決する。
【００１２】
本発明の請求項５によれば、出力部は、さらに、外部からインデックス情報を受け取り、インデックス情報生成部で生成されたインデックス情報および外部から受け取ったインデックス情報の少なくとも一方で指定されたインデックス画像を出力することにより、上記課題を解決する。
【００１３】
本発明の請求項６によれば、インデックス情報生成部は、フレーム特徴量を受け取り、フレーム特徴量を所定のしきい値と比較することで特徴フレームを決定するフレーム決定部と、フレーム決定部に接続され、特徴フレームの位置情報であるインデックス情報を生成するインデックス生成部とを含み、インデックス情報は、しきい値の設定を検索の過程で変えることにより適応的に変えられる情報であることにより、上記課題を解決する。
本発明の請求項７によれば、フレーム特徴量は、フレームが所定のサイズで分割された複数のブロックのうち、符号化において使用した予測方式毎のブロックの総数により求められる値であることにより、上記課題を解決する。
【００１４】
【発明の実施の形態】
本発明の実施の形態では、画像データに含まれる符号化情報のうち、符号化予測モード情報並びに動きベクトル情報を用いて、シーンチェンジフレーム、局所的に激しい動きの見られるフレームを特徴フレームとして抽出するケースを採り上げる。無論、これ以外の符号化情報を用いる、あるいはこれ以外の特徴フレームを抽出するケースであっても、本発明で示した構成を有する場合があることは言うまでもない。
【００１５】
図１乃至図７に本発明の画像検索情報記録装置及び画像検索装置の第一の実施の形態を示す。
【００１６】
図１は本発明の画像検索情報記録装置の第一の実施の形態を表す構成図である。符号化情報読出部１０１は、符号化された画像データを入力し、画像データに含まれる所望の符号化情報を読み出して出力する。本実施の形態における符号化情報読出部１０１では、符号化画像データから予測モード情報、動きベクトル情報を抜き出し、出力する。
【００１７】
フレーム特徴量生成部１０２は、符号化情報読出部１０１で得られた各符号化情報を加工し、特徴フレームを判定するための判定基準となる各フレームに対しての特徴量を生成し、出力する。図２は、本実施の形態における図１中のフレーム特徴量生成部１０２の内部構成を図示したものである。
【００１８】
符号化情報読出部１０１で読み出される符号化予測モード情報は、各フレームに対する予測符号化方式、並びにフレーム中の各符号化ブロックの予測方式とする。予測モード計数部２０１は、フレーム毎に各予測方式で符号化されたブロック数を計数する。前方向予測符号化フレーム（Ｐフレーム）では、フレーム内予測方式で符号化されたＩブロック、フレーム間予測方式で符号化されたＰブロックのそれぞれを計数する。双方向予測符号化フレーム（Ｂフレーム）では、フレーム内予測方式で符号化されたＩブロック、前方向フレーム間予測方式で符号化されたＰブロック、後方向フレーム間予測方式で符号化されたＢブロック、双方向フレーム間予測方式で符号化されたＢｉブロックのそれぞれを計数する。
【００１９】
更に、予測モード計数部２０１は、ＰフレームではＰブロック数Ｐｐを、Ｂフレームでは前方向フレーム間予測ブロック総数Ｂｆ（＝Ｐ＋Ｂｉ）及び後方向フレーム間予測ブロック総数Ｂｂ（＝Ｂ＋Ｂｉ）を、各フレームに対するブロック予測モード頻度情報として出力する。
【００２０】
頻度情報変換部２０２は、これらの頻度情報を各フレームに関する付属情報（以下、この各フレームに関連する付属情報のことをフレーム特徴量と呼ぶ）に変換する。本実施の形態では、各フレーム特徴量は、そのフレームと直前のフレーム間での相関を示すものとなるように設定する。
【００２１】
図３は、フレーム間予測符号化時のＰ、Ｂ各フレーム間の参照関係の例を矢印で示したもので、矢印の始点が符号化／復号の対象フレームを、矢印の終点が符号化／復号時の参照フレームを表す。各矢印に付されたＰｐ、Ｂｆｎ、Ｂｂｎを上記頻度情報とすると、例えばフレームＢ２に対するフレーム特徴量、即ちフレームＢ１とフレームＢ２との相関に関わる頻度情報とは、ここに付された各ブロック頻度情報Ｐｐ、Ｂｆｎ、Ｂｂｎから所定の演算によって算出されるべきものである。
【００２２】
本実施の形態では、Ｂｆ２があるしきい値を超える場合にはＢｆ２の値を、Ｂｆ２があるしきい値を超えずＢｂ１がしきい値を超える場合にはＢｂ１を、そうでない場合にはＢｆ２とＢｂ１のうちいずれか大きい方を、フレームＢ２のフレーム特徴量とした。フレームＢ３も同様である。フレームＢ１についてはＢｆ１をフレーム特徴量とした。また、フレームＰ４については、Ｂｂ３とＰｐのうち大きい方をフレームＰ４のフレーム特徴量とした。無論、各フレームに関する付属情報の算出方法はこれに限るものではない。また、予測モード計数部２０１で計数される上記符号化ブロック頻度情報をそのままフレーム特徴量と捉えてもよい。
【００２３】
動きベクトル統計量計算部２０４は、符号化情報読出部１０１で得られる上記予測モード情報に基づいて、ＰフレームについてはＰブロックに対応した動きベクトルのベクトル長さのフレーム全体における平均値を、Ｂフレームについては前方向フレーム間予測で符号化される全ブロック（上記Ｂｆ）、後方向フレーム間予測で符号化される全ブロック（上記Ｂｂ）にそれぞれ対応した動きベクトルのベクトル長さのフレーム全体における平均値を、それぞれ計算する。計算する統計量はベクトル長さの平均値に限らず、平均ベクトル等、別の統計量であってもよい。また、計算の際には対象フレームと参照フレームとの間隔を考慮して動きベクトルを正規化する。
【００２４】
加えて、本実施の形態では、動きベクトル統計量計算部２０４は有効動きベクトル検出部２０３で有効と判定された動きベクトルのみを用いて統計量を計算する。例えばカメラが被写体を捉えつつ移動しているような場合では、撮影された画像は被写体と背景とが全く違った大きさや方向の動きベクトルを持つことがある。このような場合に、注目するある領域、例えば被写体の領域についての動きベクトルだけを抽出して動きの大小等の判定に利用するために、有効動きベクトル検出部２０３を用いる。
【００２５】
背景からの被写体領域の切り出し方法には、フレーム全体の動きベクトルのベクトル平均を求め、ベクトル平均から外れる動きベクトルを逐次抽出していく方式や、クラスタリングによって２つの領域に分割する方式等が考えられる。動画像の内容が被写体の数が増える等して更に複雑になった場合には、それに応じた有効動きベクトル検出方式を用いる。逆に画像がそのような性質を持たない場合には、有効動きベクトル検出を行わずにフレーム全体での動きベクトルの統計量を計算してもよい。
【００２６】
統計量情報変換部２０５は、動きベクトル統計量計算部２０４で得られた上記各動きベクトル統計量を、フレーム毎に与えるフレーム特徴量へ変換する。予測モード情報に基づくフレーム特徴量と同様、本実施の形態では、動きベクトル情報に基づくフレーム特徴量は、そのフレームと直前のフレーム間での動き情報を示すものとなるように設定する。またこの時、予測モード計数部２０１で得られた符号化ブロック頻度情報を、動きベクトルフレーム特徴量の計算にあたって参照する。
【００２７】
図３において、フレームＢ２に付される動きベクトルフレーム特徴量は、ブロック頻度Ｂｆ２、Ｂｂ１が共にあるしきい値を超える場合にはＢｆ２、Ｂｂ１に対応する全動きベクトルのベクトル長さ平均を、Ｂｆ２のみが超える場合にはＢｆ２に対応した動きベクトルのベクトル長さ平均を、Ｂｂ１のみが超える場合にはＢｂ１に対応した動きベクトルのベクトル長さ平均を、そうでない場合には０を与えることとした。フレームＢ３も同様である。フレームＢ１については、Ｂｆ１があるしきい値を超える場合にはＢｆ１に対応する動きベクトルのベクトル長さ平均を、そうでない場合には０を与えることとした。また、フレームＰ４については、Ｂｂ３とＰｐが共にあるしきい値を超える場合にはＢｂ３、Ｐｐに対応する（正規化された）全動きベクトルのベクトル長さ平均を、Ｂｂ３のみが超える場合にはＢｂ３に対応した動きベクトルのベクトル長さ平均を、そうでない場合には０を与えることとした。
【００２８】
無論、各フレームに関する動きベクトルフレーム特徴量の算出方法はこれに限るものではない。また、動きベクトル統計量計算部２０４で算出される上記各ブロックに対応した動きベクトル統計量をそのままフレーム毎の動きベクトルフレーム統計量と捉えてもよい。
【００２９】
このようにして得られた予測モードフレーム特徴量並びに動きベクトルフレーム特徴量が、フレーム特徴量生成部１０２から出力され、フレーム特徴量記録部１０３で所定の記録場所に記録される。フレーム特徴量の記録場所は、各フレーム毎の符号化画像データと対応させた位置、例えば各フレーム毎の符号化画像データのヘッダ情報として記録してもよいし、画像検索用の別データとして、符号化画像データと独立させて記録してもよい。
【００３０】
図４は、本発明の画像検索装置の第一の実施の形態を表す構成図である。インデックス情報生成部４０１は、上記画像検索情報記録装置で記録されたフレーム特徴量を入力とし、各フレーム毎のフレーム特徴量に基づき所望の特徴フレームを抽出した後、その位置情報をインデックス情報として生成し、出力する。
【００３１】
図５は、本実施の形態における図４中のインデックス情報生成部４０１の内部構成を図示したものである。入力された符号化に関する予測モードフレーム特徴量を入力として、シーンチェンジフレーム判定部５０１でシーンチェンジフレームが判定される。本実施の形態においては、符号化予測モードフレーム特徴量をしきい値判定することによってシーンチェンジフレームを決定する。しきい値の設定を変更したり、隣接するフレームがシーンチェンジフレームと判定された場合の処理を加えることにより、抽出されるシーンチェンジフレームは変化する。
【００３２】
従来技術においては、シーンチェンジフレームの抽出処理は画像検索処理とは独立であり、その判定方式等は固定であった。本発明の実施の形態では、後述する画像検索の過程で画像検索実行部４０２から出力される新たな特徴フレームの抽出要求によって、シーンチェンジ判定のしきい値あるいは判定処理を検索過程で適応的に変更することにより、所望のシーンチェンジフレームを逐次抽出する構成を持つ。シーンチェンジフレームインデックス生成部５０２は、判定部５０１で判定されたシーンチェンジフレームの位置情報を、インデックス情報として生成する。
【００３３】
動きベクトルフレーム特徴量を入力として、動き特徴フレーム判定部５０３で動きの大小等に関する特徴フレームが判定される。本実施の形態においては、隣接する複数フレームの動きベクトルフレーム特徴量に基づいてピーク位置判定を行うことにより、局所的に激しい動きの見られるフレームを決定する。あるいはしきい値以上の大きさを持つフレームを抽出するように変更したり、または逆に極小位置にある動きの少ないフレームを動き特徴フレームとして抽出することも考えられる。
【００３４】
従来技術においては、動き特徴フレームの抽出処理は画像検索処理とは独立であり、その判定方式等は固定であった。本発明の実施の形態では、後述する画像検索の過程で画像検索実行部４０２から出力される新たな特徴フレームの抽出要求によって、いかなる動き特徴に注目するかに関わる動き特徴フレームの判定方式を検索過程で適応的に変更することにより、所望の動き特徴フレームを逐次抽出する構成を持つ。動き特徴フレームインデックス生成部５０４は、判定部５０３で判定された動き特徴フレームの位置情報を、インデックス情報として生成する。
【００３５】
このようにして得られたシーンチェンジフレームインデックス情報並びに動き特徴フレームインデックス情報が、インデックス情報生成部４０１から出力され、画像検索実行部４０２に入力される。
【００３６】
画像検索実行部４０２は、入力された特徴フレームインデックス情報と符号化画像データに基づいて画像検索を実行する。特徴フレームインデックス情報から特徴フレームの位置情報を得、対応するフレームが符号化画像データを用いて復号される。検索者は、一覧表示あるいは順に表示される各特徴フレームを見ることで動画像の内容を知り、所望の画像を探すことで検索を実行する。この時、インデックス情報として与えられる特徴フレームが実行中の画像検索に対して不適である、あるいは不足であると判断された場合に、画像検索実行部４０２からインデックス情報生成部４０１に向けて新たな特徴フレームを抽出する要求が出される。インデックス情報生成部４０１は、画像検索実行部４０２から出される新たな特徴フレーム抽出要求を受けて、各特徴フレーム判定部５０１、５０３内の特徴フレームの判定方式を変更し、所望の特徴フレームを決定し、その特徴フレームの位置情報をインデックス情報として出力する。出力されたインデックス情報は、画像検索実行部５０２に入力され、新たに画像検索が実行される。
【００３７】
本第一の実施の形態による利点は以下のようなものである。前記、インデックス情報生成部４０１の説明で述べたように、シーンチェンジフレームや動きに関する特徴フレーム等の動画像に対する特徴フレームは、その判定の仕方により抽出されるフレームが異なり、また、そのフレームが持つ物理的な意味合いも異なる場合がある。例えば、激しい動きのあるフレームと動きの小さいフレームは全く別の特徴を有するフレームである。
【００３８】
一方、動画像検索を実施した際、その動画像の特徴フレームとして、激しい動きのあるフレームを表示するのが適切であるか、動きの小さいフレームを表示するのが適切であるか、あるいはもっと別の動きに関する特徴を持つフレームが適切であるかは、検索対象の動画像に依存するものであり、検索の過程で適応的に切替えたい要求が生じることが考えられる。このような状況に対して、本発明の第一の実施の形態は、フレーム特徴量の形式で画像検索情報を記録することにより、検索過程での特徴フレーム切替え要求に即座に応答することができる。
【００３９】
あるいは、図６に示すように、図１の画像検索情報記録装置に、特徴フレームのインデックス情報を生成するインデックス情報生成部４０１及びインデックス情報を記録するインデックス情報記録部６０１を追加することで、（あらかじめ決められた）特徴フレームのインデックス情報をフレーム特徴量と共に別途記録しておくこともできる。フレーム特徴量、特徴フレームインデックス情報の両方を記録する場合では、検索過程での特徴フレームの切替え要求に対してはフレーム特徴量を用いることにより即座に応答でき、かつ切替え要求がないような検索では固定のインデックス情報によって高速に検索を実行することもできる。
【００４０】
図６の画像検索情報記録装置に対応する画像検索装置の構成を図７に示す。図７の画像検索装置では、記録されたインデックス情報と、インデックス情報生成部４０１から出力されるインデックス情報のいずれも画像検索実行部４０２に入力され、画像検索に利用される。
【００４１】
また、本実施の形態では画像検索情報記録装置と画像検索装置とを別個のものとし、これらの間ではインデックス情報、フレーム特徴量を記録し渡すこととしているが、画像検索情報記録装置で生成されるそれらの情報を直接画像検索装置に渡し、オンラインで検索を実行することも可能である。
【００４２】
図８乃至図１１に本発明の画像検索情報記録装置及び画像検索装置の第二の実施の形態を示す。
図８は、本発明の画像検索情報記録装置の第二の実施の形態を表す構成図である。上記第一の実施の形態が各フレーム毎のフレーム特徴量を記録するものであるのに対し、本第二の実施の形態では、符号化情報読出部１０１で読み出された特徴フレーム抽出の基となる符号化情報を、符号化情報記録部８０１で所定の記録場所に記録する。こうしておけば、画像検索において特徴フレームを抽出する際に所定場所の符号化情報を読み出すだけでよいため、元の符号化画像データを逐次読み込むのに比べて効率が上がる。符号化情報の記録場所は、各フレーム毎の符号化画像データと対応させた位置、例えば各フレーム毎の符号化画像データのヘッダ情報として記録してもよいし、画像検索用の別データとして、符号化画像データと独立させて記録してもよい。
【００４３】
図９は、本発明の画像検索装置の第二の実施の形態を表す構成図である。上記第一の実施の形態における画像検索装置では、記録されたフレーム特徴量がインデックス情報生成部４０１に入力されたのに対し、本第二の実施の形態では、入力された符号化情報から各フレームに対するフレーム特徴量を生成するフレーム特徴量生成部１０２が追加され、フレーム特徴量生成部１０２で生成されたフレーム特徴量がインデックス情報生成部４０１に入力される。フレーム特徴量生成部１０２、インデックス情報生成部４０１、画像検索情報実行部４０２の動作は第一の実施の形態と同一であるため、省略する。
【００４４】
本第二の実施の形態では、元の符号化画像データから特徴フレーム抽出に必要な符号化情報だけを抜き出して記録するといった単純な構成で画像検索情報記録装置が実現される。また、符号化情報の形式で記録するため、検索の過程でフレーム特徴量に基づく特徴フレームの判定方式を変更するだけでなく、特徴フレームを抽出するためのフレーム特徴量の算出方式自体を変更することも可能であり、より柔軟な画像検索を行うことができる。
【００４５】
第一の実施の形態と同様に、図８の画像検索情報記録装置に、各フレーム毎のフレーム特徴量を生成するフレーム特徴量生成部１０２、特徴フレームのインデックス情報を生成するインデックス情報生成部４０１及びインデックス情報を記録するインデックス情報記録部６０１を追加することで（あらかじめ決められた）、特徴フレームのインデックス情報を特徴フレーム抽出に必要な符号化情報と共に別途記録しておくこともできる。
【００４６】
この画像検索情報記録装置の構成図を図１０に示す。符号化情報、特徴フレームインデックス情報の両方を記録する場合では、検索過程での特徴フレームの切替え要求に対しては符号化情報に基づいてフレーム特徴量を得ることにより応答でき、かつ切替え要求がないような検索では固定のインデックス情報によって高速に検索を実行することもできる。
【００４７】
図１０の画像検索情報記録装置に対応する画像検索装置の構成を図１１に示す。図１１の画像検索装置では、記録されたインデックス情報と、インデックス情報生成部４０１から出力されるインデックス情報のいずれも画像検索実行部４０２に入力され、画像検索に利用される。
【００４８】
更に、上記第一の実施の形態及び第二の実施の形態ではそれぞれ、各フレームに対するフレーム特徴量、特徴フレーム抽出に必要な符号化情報を各々記録するとしたが、これらは相反するものではなく、フレーム特徴量と特徴フレーム抽出に必要な符号化情報を共に記録してもよい。また、インデックス情報、フレーム特徴量、特徴フレーム抽出に必要な符号化情報を全て記録し、画像検索時に利用することも可能である。
【００４９】
図１２および図１３に本発明の画像検索情報記録装置の第三の実施の形態を示す。
図１２は、本発明の画像検索情報記録装置の第三の実施の形態を表す構成図である。本第三の実施の形態は、インデックス情報、フレーム特徴量、特徴フレーム抽出に必要な符号化情報のうち、どの情報を画像検索情報として記録するかを選択する記録情報選択部１２０１を持つことを特徴とする。但し、記録情報選択部１２０１で選択される画像検索情報はいずれか一つとは限らず、状況に応じてインデックス情報、フレーム特徴量、特徴フレーム抽出に必要な符号化情報のうちの二つ、あるいは全てを記録するといった選択も可能とする。
【００５０】
前記、第一の実施の形態で、シーンチェンジフレームや動きに関する特徴フレーム等の動画像に対する特徴フレームは、その判定の仕方により抽出されるフレームが異なり、また、そのフレームが持つ物理的な意味合いも異なる場合があることを述べた。例えば、激しい動きのあるフレームと動きの小さいフレームは全く別の特徴を有するフレームである。動画像検索を実施した際、その動画像の特徴フレームとして、激しい動きのあるフレームを表示するのが適切であるか、動きの小さいフレームを表示するのが適切であるか、あるいはもっと別の動きに関する特徴を持つフレームが適切であるかは、検索対象の動画像に依存するものであり、検索の過程で適応的に切替えたい要求が生じることが考えられる。このような状況では、記録情報選択部１２０１においてフレーム特徴量の形式あるいは符号化情報の形式で画像検索情報を記録することにより、検索過程での切替え要求に即座に応答することができる。
【００５１】
あるいは、あらかじめ検索対象である動画像に対して何らかの知識が得られ、適した特徴フレームが判っている場合には、記録情報選択部１２０１において特徴フレームのインデックス情報の形式で画像検索情報を記録することにより、画像検索情報量を削減し、高速に検索を実行することができる。また、記録情報選択部１２０１においてフレーム特徴量あるいは符号化情報と特徴フレームのインデックス情報とを共に記録する場合では、検索過程での切替え要求に即座に応答でき、かつ高速に検索を実行することができる。
【００５２】
図１３に、本発明の画像検索装置の第三の実施の形態を示す。前記画像検索情報装置で記録されたインデックス情報、フレーム特徴量、あるいは特徴フレーム抽出に必要な符号化情報が、適宜画像検索装置に入力される。
【００５３】
インデックス情報があれば、インデックス情報から特徴フレーム位置を得、入力された符号化画像データを復号し、表示することで、画像検索が実行される。画像検索の過程で、新たな特徴フレームが必要とされた場合、フレーム特徴量があれば、フレーム特徴量から新たな特徴フレームを抽出し、インデックス情報を生成して画像検索に用いる。
【００５４】
さらに、フレーム特徴量が不適であると判断された場合には、符号化情報があれば、符号化情報から新たなフレーム特徴量を生成し、生成された新たなフレーム特徴量から新たな特徴フレームを抽出し、インデックス情報を生成して画像検索に用いる。
【００５５】
フレーム特徴量、符号化情報を共に記憶しておく利点は、このような自由度の高い画像検索を行える点にある。
【００５６】
符号化情報があり、入力されるフレーム特徴量がない場合では、新たな特徴フレームの抽出要求は直接フレーム特徴量生成部１０２に向けて出される。
【００５７】
このように、本発明の画像検索情報記録装置の第三の実施の形態では、検索を行う対象画像の性質によって記録情報選択部１２０１において記録する情報を選択することで、適切な画像検索情報を記録することができ、また画像検索装置では、適応的に画像検索を実行することができる。また、検索実行時の実行速度や記録容量の制限等によって記録情報選択部１２０１における記録情報を選択することもできる。
【００５８】
これら画像検索情報は、インデックス情報、フレーム特徴量、符号化情報の順に容量が大きくなる。例えば、画像検索情報を記録する記録容量が小さい場合には、容量の小さいインデックス情報のみを記録する。記録容量は十分大きく、かつ検索実行速度が遅いような端末では、すべての情報を記録し検索の自由度を確保した上で、インデックス情報を極力活用することで実行速度を低下させないようにする。
【００５９】
また、記録する画像検索情報をインデックス情報、フレーム特徴量、特徴フレーム抽出に必要な符号化情報のうちの二つに限定し、記録情報選択部１２０１において記録情報を選択することも可能である。
【００６０】
【発明の効果】
本願請求項１に記載の発明に係る画像検索情報記録装置は、上述したような構成によって、特徴フレーム抽出に必要なフレーム特徴量を記録できることにより、様々な検索要求に対して、高速に検索処理を行うことができる。
【００６１】
本願請求項２に記載の発明に係る画像検索情報記録装置は、上述したような構成によって、特徴フレーム抽出に必要なフレーム特徴量を記録できることにより、様々な検索要求に対して、高速に検索処理を行うことができる。
【００６２】
本願請求項３に記載の発明に係る画像検索情報記録装置は、上述したような構成によって、特徴フレーム抽出に必要なフレーム特徴量を記録できることにより、様々な検索要求に対して、高速に検索処理を行うことができる。
【００６３】
本願請求項４に記載の発明に係る画像検索装置は、上述したような構成によって、フレーム特徴量よりもデータ量の少ないインデックス情報を使用することで、画像の検索処理を高速に行なうことができる。
【００６４】
本願請求項５に記載の発明に係る画像検索装置は、上述したような構成によって、様々な検索要求に対して、高速に検索処理を行うことができる。
【００６５】
本願請求項６に記載の発明に係る画像検索装置は、上述したような構成によって、様々な検索要求に対して、柔軟な画像検索を行うことができる。
本願請求項７に記載の発明に係る画像検索装置は、上述したような構成によって、画像の検索処理を高速に行なうことができる。
【図面の簡単な説明】
【図１】本発明の画像検索情報記録装置の第一の実施の形態を表す図である。
【図２】本発明の画像検索情報記録装置の第一の実施の形態でフレーム特徴量生成部の内部構成を表す図である。
【図３】予測符号化方式のフレームの参照関係を表す図である。
【図４】本発明の画像検索装置の第一の実施の形態を表す図である。
【図５】本発明の画像検索装置の第一の実施の形態でインデックス情報生成部の内部構成を表す図である。
【図６】本発明の画像検索情報記録装置の第一の実施の形態を表す図である。
【図７】本発明の画像検索装置の第一の実施の形態を表す図である。
【図８】本発明の画像検索情報記録装置の第二の実施の形態を表す図である。
【図９】本発明の画像検索装置の第二の実施の形態を表す図である。
【図１０】本発明の画像検索情報記録装置の第二の実施の形態を表す図である。
【図１１】本発明の画像検索装置の第二の実施の形態を表す図である。
【図１２】本発明の画像検索情報記録装置の第三の実施の形態を表す図である。
【図１３】本発明の画像検索装置の第三の実施の形態を表す図である。
【図１４】従来技術の画像検索情報記録装置を表す図である。
【図１５】従来技術の画像検索装置を表す図である。
【符号の説明】
１０１、１４０１ 符号化情報読出部
１０２、１４０２ フレーム特徴量生成部
１０３ フレーム特徴量記録部
２０１ 予測モード計数部
２０２ 頻度情報変換部
２０３ 有効動きベクトル検出部
２０４ 動きベクトル統計量計算部
２０５ 統計量情報変換部
４０１、１４０３ インデックス情報生成部
４０２、１５０１ 画像検索実行部
５０１ シーンチェンジフレーム判定部
５０２ シーンチェンジフレームインデックス生成部
５０３ 動き特徴フレーム判定部
５０４ 動き特徴フレームインデックス生成部
６０１、１４０４ インデックス情報記録部
８０１ 符号化情報記録部
１２０１ 記録情報選択部
【発明の属する技術分野】
本発明は、蓄積された複数の符号化された画像データから所望の画像を検索するために用いる画像検索情報の生成、記録と、該画像検索情報を用いた画像検索の実現方法に関するものである。
【０００２】
【従来の技術】
動画像を検索する場合、その動画像が何を撮影したものであるかといった動画像の内容を知ることが重要である。そのためには、文字のタイトルや説明文がついているといった場合を除けば、殆どの場合、動画像全体を再生して内容を確認する必要がある。しかし、検索対象となる動画像の数が増えるにつれ、全ての動画像を逐一再生して確認していたのでは利用者の負担は重くなり、検索効率としても甚だ悪い。各動画像が符号化された圧縮データであり復号処理を行った上で再生し検索するといった状況では、更にそれが顕著である。この問題を解決する一つの方法として、動画像の内容を端的に表す動画像内の特徴的なフレームを一枚あるいは複数枚抽出し、それらを表示することで動画像の概略的な内容を表示する検索方式が有効であると考えられる。
【０００３】
動画像検索における特徴的なフレーム（以下、特徴フレームと呼ぶ）としては、例えばシーンチェンジフレームがある。特開平９―２６１６４８では、フレーム間予測符号化方式により符号化された画像データに対して、画像データに含まれる予測モード情報からシーンチェンジフレームを抽出する手法が述べられている。１フレームに亘って、フレーム内予測方式で符号化されたＩブロック、前方向フレーム間予測方式で符号化されたＰブロック、後方向フレーム間予測方式で符号化されたＢブロック、双方向フレーム間予測方式で符号化されたＢｉブロックのそれぞれを計数する。この時、この各ブロックの頻度情報は動画像中のフレーム間の相関を反映することから、各ブロックの頻度情報に基づいてシーンが変化した直後のフレーム（＝シーンチェンジフレーム）を検出する。また、特開平１０―２３４２１では、符号化された画像データに含まれる符号化情報各々の符号量の変化から、シーンチェンジフレームを抽出する手法が述べられている。これらの従来技術に基づいた従来の画像検索情報記録装置を図示すると、図１４のようになる。
【０００４】
符号化情報読出部１４０１は、符号化された画像データから、特開平９―２６１６４８においてはブロック毎の予測モード情報を、特開平１０―２３４２１においては各符号化情報を種類別に読み出す。次に、フレーム特徴量生成部１４０２は、符号化情報読出部１４０１で読み出された各種符号化情報から、特開平９―２６１６４８においては各予測モードブロックの頻度を、特開平１０―２３４２１においては各符号化情報別の符号量の累積値を算出する。インデックス情報生成部１３０３は、フレーム特徴量生成部１３０２で求められたフレーム毎の特徴量、特開平９−２６１６４８では各予測モードブロックの頻度情報、特開平１０−２３４２１では各符号化情報別の累積符号量、を基に特徴フレームであるシーンチェンジフレームを決定し、その位置情報をインデックス情報として出力する。最後に、インデックス情報記録部１４０４は、インデックス情報生成部１４０３から出力されたインデックス情報を画像検索情報として記録する。一方、図１５は、こうして記録された画像検索情報を用いた従来の画像検索装置を表している。画像検索実行部１５０１において、画像検索情報及び符号化された画像データを入力として実際の検索を実行し、検索結果が出力される。
【０００５】
また、シーンチェンジフレーム以外の特徴フレームとしては、特開平９−２８４７０２で述べている、動きの緩急に基づくシーン変化フレームがある。特開平９−２８４７０２は、符号化情報からではなく原画像からシーン変化フレーム検出用の動きベクトルを独立して求め、フレーム内の動きベクトルの総和を基にシーン変化フレームを検出している。
【０００６】
【発明が解決しようとする課題】
上記従来の画像検索情報記録装置では、抽出された特徴フレームからその位置情報を求め、その位置情報のみをインデックス情報として記録していた。そのため、検索対象である複数の画像がそれぞれに異なる特徴を有する場合でも、同一の特徴を表現した特徴フレームしか得られず、各画像の特徴に合わせた特徴フレームを得たければ、符号化画像データまで戻って画像検索情報の生成を行わなければならなかった。検索の過程で、検索対象画像に関する様々な特徴に対応した特徴フレームを対話的に取り出すといった局面では、符号化画像データまで戻って画像検索情報の生成を行うことは、非常に検索効率を低下させる。また、全画像データに対して、考えられる全ての特徴に対応した特徴フレームインデックスを用意しておくことも現実的ではなく、更に、画像検索情報提供者が予期し得なかった特徴フレームの要求に対しても、従来技術では効率良く対処することができない。
【０００７】
本発明はこれらの問題点を鑑みてなされたものであり、特徴フレーム抽出に利用する符号化情報あるいは特徴フレームを抽出するための各フレームに対する特徴量を記録することで、検索過程で適応的に特徴フレームを抽出することを可能とするものである。
【０００８】
【課題を解決するための手段】
本発明の請求項１によれば、画像データに基づいて、フレームの特徴を数値化したフレーム特徴量を、フレームそれぞれについて求めるフレーム特徴量生成部と、フレーム特徴量生成部に接続され、画像データのフレームと対応した形式でフレーム特徴量を記録する記録部とを備え、フレーム特徴量生成部により、フレーム特徴量は、画像データに関連する動きベクトル情報の統計量により求められることにより、上記課題を解決する。
【０００９】
本発明の請求項２によれば、画像データは符号化されたデータであり、符号化されたデータから動きベクトル情報を読み出す読出部をさらに備え、フレーム特徴量生成部は、読出部で読み出された動きベクトル情報に基づいて、フレーム特徴量を生成することにより、上記課題を解決する。
【００１０】
本発明の請求項３によれば、統計量は、フレームの前および後の少なくとも一方のフレームに対して算出された複数の動きベクトルの長さの平均値であることにより上記課題を解決する。
【００１１】
本発明の請求項４によれば、画像データのフレームと対応した形式で記録されている、フレームの特徴を数値化した各フレームのフレーム特徴量に基づいて、画像データ中の特徴フレームを決定し、フレーム特徴量よりも情報量が少ない情報であって、特徴フレームの位置情報であるインデックス情報を生成するインデックス情報生成部と、インデックス情報生成部に接続され、インデックス情報を受け取り、インデックス情報で指定されたインデックス画像を出力する出力部とを備え、フレーム特徴量は、画像データに関連する動きベクトル情報を解析して求められることにより、上記課題を解決する。
【００１２】
本発明の請求項５によれば、出力部は、さらに、外部からインデックス情報を受け取り、インデックス情報生成部で生成されたインデックス情報および外部から受け取ったインデックス情報の少なくとも一方で指定されたインデックス画像を出力することにより、上記課題を解決する。
【００１３】
本発明の請求項６によれば、インデックス情報生成部は、フレーム特徴量を受け取り、フレーム特徴量を所定のしきい値と比較することで特徴フレームを決定するフレーム決定部と、フレーム決定部に接続され、特徴フレームの位置情報であるインデックス情報を生成するインデックス生成部とを含み、インデックス情報は、しきい値の設定を検索の過程で変えることにより適応的に変えられる情報であることにより、上記課題を解決する。
本発明の請求項７によれば、フレーム特徴量は、フレームが所定のサイズで分割された複数のブロックのうち、符号化において使用した予測方式毎のブロックの総数により求められる値であることにより、上記課題を解決する。
【００１４】
【発明の実施の形態】
本発明の実施の形態では、画像データに含まれる符号化情報のうち、符号化予測モード情報並びに動きベクトル情報を用いて、シーンチェンジフレーム、局所的に激しい動きの見られるフレームを特徴フレームとして抽出するケースを採り上げる。無論、これ以外の符号化情報を用いる、あるいはこれ以外の特徴フレームを抽出するケースであっても、本発明で示した構成を有する場合があることは言うまでもない。
【００１５】
図１乃至図７に本発明の画像検索情報記録装置及び画像検索装置の第一の実施の形態を示す。
【００１６】
図１は本発明の画像検索情報記録装置の第一の実施の形態を表す構成図である。符号化情報読出部１０１は、符号化された画像データを入力し、画像データに含まれる所望の符号化情報を読み出して出力する。本実施の形態における符号化情報読出部１０１では、符号化画像データから予測モード情報、動きベクトル情報を抜き出し、出力する。
【００１７】
フレーム特徴量生成部１０２は、符号化情報読出部１０１で得られた各符号化情報を加工し、特徴フレームを判定するための判定基準となる各フレームに対しての特徴量を生成し、出力する。図２は、本実施の形態における図１中のフレーム特徴量生成部１０２の内部構成を図示したものである。
【００１８】
符号化情報読出部１０１で読み出される符号化予測モード情報は、各フレームに対する予測符号化方式、並びにフレーム中の各符号化ブロックの予測方式とする。予測モード計数部２０１は、フレーム毎に各予測方式で符号化されたブロック数を計数する。前方向予測符号化フレーム（Ｐフレーム）では、フレーム内予測方式で符号化されたＩブロック、フレーム間予測方式で符号化されたＰブロックのそれぞれを計数する。双方向予測符号化フレーム（Ｂフレーム）では、フレーム内予測方式で符号化されたＩブロック、前方向フレーム間予測方式で符号化されたＰブロック、後方向フレーム間予測方式で符号化されたＢブロック、双方向フレーム間予測方式で符号化されたＢｉブロックのそれぞれを計数する。
【００１９】
更に、予測モード計数部２０１は、ＰフレームではＰブロック数Ｐｐを、Ｂフレームでは前方向フレーム間予測ブロック総数Ｂｆ（＝Ｐ＋Ｂｉ）及び後方向フレーム間予測ブロック総数Ｂｂ（＝Ｂ＋Ｂｉ）を、各フレームに対するブロック予測モード頻度情報として出力する。
【００２０】
頻度情報変換部２０２は、これらの頻度情報を各フレームに関する付属情報（以下、この各フレームに関連する付属情報のことをフレーム特徴量と呼ぶ）に変換する。本実施の形態では、各フレーム特徴量は、そのフレームと直前のフレーム間での相関を示すものとなるように設定する。
【００２１】
図３は、フレーム間予測符号化時のＰ、Ｂ各フレーム間の参照関係の例を矢印で示したもので、矢印の始点が符号化／復号の対象フレームを、矢印の終点が符号化／復号時の参照フレームを表す。各矢印に付されたＰｐ、Ｂｆｎ、Ｂｂｎを上記頻度情報とすると、例えばフレームＢ２に対するフレーム特徴量、即ちフレームＢ１とフレームＢ２との相関に関わる頻度情報とは、ここに付された各ブロック頻度情報Ｐｐ、Ｂｆｎ、Ｂｂｎから所定の演算によって算出されるべきものである。
【００２２】
本実施の形態では、Ｂｆ２があるしきい値を超える場合にはＢｆ２の値を、Ｂｆ２があるしきい値を超えずＢｂ１がしきい値を超える場合にはＢｂ１を、そうでない場合にはＢｆ２とＢｂ１のうちいずれか大きい方を、フレームＢ２のフレーム特徴量とした。フレームＢ３も同様である。フレームＢ１についてはＢｆ１をフレーム特徴量とした。また、フレームＰ４については、Ｂｂ３とＰｐのうち大きい方をフレームＰ４のフレーム特徴量とした。無論、各フレームに関する付属情報の算出方法はこれに限るものではない。また、予測モード計数部２０１で計数される上記符号化ブロック頻度情報をそのままフレーム特徴量と捉えてもよい。
【００２３】
動きベクトル統計量計算部２０４は、符号化情報読出部１０１で得られる上記予測モード情報に基づいて、ＰフレームについてはＰブロックに対応した動きベクトルのベクトル長さのフレーム全体における平均値を、Ｂフレームについては前方向フレーム間予測で符号化される全ブロック（上記Ｂｆ）、後方向フレーム間予測で符号化される全ブロック（上記Ｂｂ）にそれぞれ対応した動きベクトルのベクトル長さのフレーム全体における平均値を、それぞれ計算する。計算する統計量はベクトル長さの平均値に限らず、平均ベクトル等、別の統計量であってもよい。また、計算の際には対象フレームと参照フレームとの間隔を考慮して動きベクトルを正規化する。
【００２４】
加えて、本実施の形態では、動きベクトル統計量計算部２０４は有効動きベクトル検出部２０３で有効と判定された動きベクトルのみを用いて統計量を計算する。例えばカメラが被写体を捉えつつ移動しているような場合では、撮影された画像は被写体と背景とが全く違った大きさや方向の動きベクトルを持つことがある。このような場合に、注目するある領域、例えば被写体の領域についての動きベクトルだけを抽出して動きの大小等の判定に利用するために、有効動きベクトル検出部２０３を用いる。
【００２５】
背景からの被写体領域の切り出し方法には、フレーム全体の動きベクトルのベクトル平均を求め、ベクトル平均から外れる動きベクトルを逐次抽出していく方式や、クラスタリングによって２つの領域に分割する方式等が考えられる。動画像の内容が被写体の数が増える等して更に複雑になった場合には、それに応じた有効動きベクトル検出方式を用いる。逆に画像がそのような性質を持たない場合には、有効動きベクトル検出を行わずにフレーム全体での動きベクトルの統計量を計算してもよい。
【００２６】
統計量情報変換部２０５は、動きベクトル統計量計算部２０４で得られた上記各動きベクトル統計量を、フレーム毎に与えるフレーム特徴量へ変換する。予測モード情報に基づくフレーム特徴量と同様、本実施の形態では、動きベクトル情報に基づくフレーム特徴量は、そのフレームと直前のフレーム間での動き情報を示すものとなるように設定する。またこの時、予測モード計数部２０１で得られた符号化ブロック頻度情報を、動きベクトルフレーム特徴量の計算にあたって参照する。
【００２７】
図３において、フレームＢ２に付される動きベクトルフレーム特徴量は、ブロック頻度Ｂｆ２、Ｂｂ１が共にあるしきい値を超える場合にはＢｆ２、Ｂｂ１に対応する全動きベクトルのベクトル長さ平均を、Ｂｆ２のみが超える場合にはＢｆ２に対応した動きベクトルのベクトル長さ平均を、Ｂｂ１のみが超える場合にはＢｂ１に対応した動きベクトルのベクトル長さ平均を、そうでない場合には０を与えることとした。フレームＢ３も同様である。フレームＢ１については、Ｂｆ１があるしきい値を超える場合にはＢｆ１に対応する動きベクトルのベクトル長さ平均を、そうでない場合には０を与えることとした。また、フレームＰ４については、Ｂｂ３とＰｐが共にあるしきい値を超える場合にはＢｂ３、Ｐｐに対応する（正規化された）全動きベクトルのベクトル長さ平均を、Ｂｂ３のみが超える場合にはＢｂ３に対応した動きベクトルのベクトル長さ平均を、そうでない場合には０を与えることとした。
【００２８】
無論、各フレームに関する動きベクトルフレーム特徴量の算出方法はこれに限るものではない。また、動きベクトル統計量計算部２０４で算出される上記各ブロックに対応した動きベクトル統計量をそのままフレーム毎の動きベクトルフレーム統計量と捉えてもよい。
【００２９】
このようにして得られた予測モードフレーム特徴量並びに動きベクトルフレーム特徴量が、フレーム特徴量生成部１０２から出力され、フレーム特徴量記録部１０３で所定の記録場所に記録される。フレーム特徴量の記録場所は、各フレーム毎の符号化画像データと対応させた位置、例えば各フレーム毎の符号化画像データのヘッダ情報として記録してもよいし、画像検索用の別データとして、符号化画像データと独立させて記録してもよい。
【００３０】
図４は、本発明の画像検索装置の第一の実施の形態を表す構成図である。インデックス情報生成部４０１は、上記画像検索情報記録装置で記録されたフレーム特徴量を入力とし、各フレーム毎のフレーム特徴量に基づき所望の特徴フレームを抽出した後、その位置情報をインデックス情報として生成し、出力する。
【００３１】
図５は、本実施の形態における図４中のインデックス情報生成部４０１の内部構成を図示したものである。入力された符号化に関する予測モードフレーム特徴量を入力として、シーンチェンジフレーム判定部５０１でシーンチェンジフレームが判定される。本実施の形態においては、符号化予測モードフレーム特徴量をしきい値判定することによってシーンチェンジフレームを決定する。しきい値の設定を変更したり、隣接するフレームがシーンチェンジフレームと判定された場合の処理を加えることにより、抽出されるシーンチェンジフレームは変化する。
【００３２】
従来技術においては、シーンチェンジフレームの抽出処理は画像検索処理とは独立であり、その判定方式等は固定であった。本発明の実施の形態では、後述する画像検索の過程で画像検索実行部４０２から出力される新たな特徴フレームの抽出要求によって、シーンチェンジ判定のしきい値あるいは判定処理を検索過程で適応的に変更することにより、所望のシーンチェンジフレームを逐次抽出する構成を持つ。シーンチェンジフレームインデックス生成部５０２は、判定部５０１で判定されたシーンチェンジフレームの位置情報を、インデックス情報として生成する。
【００３３】
動きベクトルフレーム特徴量を入力として、動き特徴フレーム判定部５０３で動きの大小等に関する特徴フレームが判定される。本実施の形態においては、隣接する複数フレームの動きベクトルフレーム特徴量に基づいてピーク位置判定を行うことにより、局所的に激しい動きの見られるフレームを決定する。あるいはしきい値以上の大きさを持つフレームを抽出するように変更したり、または逆に極小位置にある動きの少ないフレームを動き特徴フレームとして抽出することも考えられる。
【００３４】
従来技術においては、動き特徴フレームの抽出処理は画像検索処理とは独立であり、その判定方式等は固定であった。本発明の実施の形態では、後述する画像検索の過程で画像検索実行部４０２から出力される新たな特徴フレームの抽出要求によって、いかなる動き特徴に注目するかに関わる動き特徴フレームの判定方式を検索過程で適応的に変更することにより、所望の動き特徴フレームを逐次抽出する構成を持つ。動き特徴フレームインデックス生成部５０４は、判定部５０３で判定された動き特徴フレームの位置情報を、インデックス情報として生成する。
【００３５】
このようにして得られたシーンチェンジフレームインデックス情報並びに動き特徴フレームインデックス情報が、インデックス情報生成部４０１から出力され、画像検索実行部４０２に入力される。
【００３６】
画像検索実行部４０２は、入力された特徴フレームインデックス情報と符号化画像データに基づいて画像検索を実行する。特徴フレームインデックス情報から特徴フレームの位置情報を得、対応するフレームが符号化画像データを用いて復号される。検索者は、一覧表示あるいは順に表示される各特徴フレームを見ることで動画像の内容を知り、所望の画像を探すことで検索を実行する。この時、インデックス情報として与えられる特徴フレームが実行中の画像検索に対して不適である、あるいは不足であると判断された場合に、画像検索実行部４０２からインデックス情報生成部４０１に向けて新たな特徴フレームを抽出する要求が出される。インデックス情報生成部４０１は、画像検索実行部４０２から出される新たな特徴フレーム抽出要求を受けて、各特徴フレーム判定部５０１、５０３内の特徴フレームの判定方式を変更し、所望の特徴フレームを決定し、その特徴フレームの位置情報をインデックス情報として出力する。出力されたインデックス情報は、画像検索実行部５０２に入力され、新たに画像検索が実行される。
【００３７】
本第一の実施の形態による利点は以下のようなものである。前記、インデックス情報生成部４０１の説明で述べたように、シーンチェンジフレームや動きに関する特徴フレーム等の動画像に対する特徴フレームは、その判定の仕方により抽出されるフレームが異なり、また、そのフレームが持つ物理的な意味合いも異なる場合がある。例えば、激しい動きのあるフレームと動きの小さいフレームは全く別の特徴を有するフレームである。
【００３８】
一方、動画像検索を実施した際、その動画像の特徴フレームとして、激しい動きのあるフレームを表示するのが適切であるか、動きの小さいフレームを表示するのが適切であるか、あるいはもっと別の動きに関する特徴を持つフレームが適切であるかは、検索対象の動画像に依存するものであり、検索の過程で適応的に切替えたい要求が生じることが考えられる。このような状況に対して、本発明の第一の実施の形態は、フレーム特徴量の形式で画像検索情報を記録することにより、検索過程での特徴フレーム切替え要求に即座に応答することができる。
【００３９】
あるいは、図６に示すように、図１の画像検索情報記録装置に、特徴フレームのインデックス情報を生成するインデックス情報生成部４０１及びインデックス情報を記録するインデックス情報記録部６０１を追加することで、（あらかじめ決められた）特徴フレームのインデックス情報をフレーム特徴量と共に別途記録しておくこともできる。フレーム特徴量、特徴フレームインデックス情報の両方を記録する場合では、検索過程での特徴フレームの切替え要求に対してはフレーム特徴量を用いることにより即座に応答でき、かつ切替え要求がないような検索では固定のインデックス情報によって高速に検索を実行することもできる。
【００４０】
図６の画像検索情報記録装置に対応する画像検索装置の構成を図７に示す。図７の画像検索装置では、記録されたインデックス情報と、インデックス情報生成部４０１から出力されるインデックス情報のいずれも画像検索実行部４０２に入力され、画像検索に利用される。
【００４１】
また、本実施の形態では画像検索情報記録装置と画像検索装置とを別個のものとし、これらの間ではインデックス情報、フレーム特徴量を記録し渡すこととしているが、画像検索情報記録装置で生成されるそれらの情報を直接画像検索装置に渡し、オンラインで検索を実行することも可能である。
【００４２】
図８乃至図１１に本発明の画像検索情報記録装置及び画像検索装置の第二の実施の形態を示す。
図８は、本発明の画像検索情報記録装置の第二の実施の形態を表す構成図である。上記第一の実施の形態が各フレーム毎のフレーム特徴量を記録するものであるのに対し、本第二の実施の形態では、符号化情報読出部１０１で読み出された特徴フレーム抽出の基となる符号化情報を、符号化情報記録部８０１で所定の記録場所に記録する。こうしておけば、画像検索において特徴フレームを抽出する際に所定場所の符号化情報を読み出すだけでよいため、元の符号化画像データを逐次読み込むのに比べて効率が上がる。符号化情報の記録場所は、各フレーム毎の符号化画像データと対応させた位置、例えば各フレーム毎の符号化画像データのヘッダ情報として記録してもよいし、画像検索用の別データとして、符号化画像データと独立させて記録してもよい。
【００４３】
図９は、本発明の画像検索装置の第二の実施の形態を表す構成図である。上記第一の実施の形態における画像検索装置では、記録されたフレーム特徴量がインデックス情報生成部４０１に入力されたのに対し、本第二の実施の形態では、入力された符号化情報から各フレームに対するフレーム特徴量を生成するフレーム特徴量生成部１０２が追加され、フレーム特徴量生成部１０２で生成されたフレーム特徴量がインデックス情報生成部４０１に入力される。フレーム特徴量生成部１０２、インデックス情報生成部４０１、画像検索情報実行部４０２の動作は第一の実施の形態と同一であるため、省略する。
【００４４】
本第二の実施の形態では、元の符号化画像データから特徴フレーム抽出に必要な符号化情報だけを抜き出して記録するといった単純な構成で画像検索情報記録装置が実現される。また、符号化情報の形式で記録するため、検索の過程でフレーム特徴量に基づく特徴フレームの判定方式を変更するだけでなく、特徴フレームを抽出するためのフレーム特徴量の算出方式自体を変更することも可能であり、より柔軟な画像検索を行うことができる。
【００４５】
第一の実施の形態と同様に、図８の画像検索情報記録装置に、各フレーム毎のフレーム特徴量を生成するフレーム特徴量生成部１０２、特徴フレームのインデックス情報を生成するインデックス情報生成部４０１及びインデックス情報を記録するインデックス情報記録部６０１を追加することで（あらかじめ決められた）、特徴フレームのインデックス情報を特徴フレーム抽出に必要な符号化情報と共に別途記録しておくこともできる。
【００４６】
この画像検索情報記録装置の構成図を図１０に示す。符号化情報、特徴フレームインデックス情報の両方を記録する場合では、検索過程での特徴フレームの切替え要求に対しては符号化情報に基づいてフレーム特徴量を得ることにより応答でき、かつ切替え要求がないような検索では固定のインデックス情報によって高速に検索を実行することもできる。
【００４７】
図１０の画像検索情報記録装置に対応する画像検索装置の構成を図１１に示す。図１１の画像検索装置では、記録されたインデックス情報と、インデックス情報生成部４０１から出力されるインデックス情報のいずれも画像検索実行部４０２に入力され、画像検索に利用される。
【００４８】
更に、上記第一の実施の形態及び第二の実施の形態ではそれぞれ、各フレームに対するフレーム特徴量、特徴フレーム抽出に必要な符号化情報を各々記録するとしたが、これらは相反するものではなく、フレーム特徴量と特徴フレーム抽出に必要な符号化情報を共に記録してもよい。また、インデックス情報、フレーム特徴量、特徴フレーム抽出に必要な符号化情報を全て記録し、画像検索時に利用することも可能である。
【００４９】
図１２および図１３に本発明の画像検索情報記録装置の第三の実施の形態を示す。
図１２は、本発明の画像検索情報記録装置の第三の実施の形態を表す構成図である。本第三の実施の形態は、インデックス情報、フレーム特徴量、特徴フレーム抽出に必要な符号化情報のうち、どの情報を画像検索情報として記録するかを選択する記録情報選択部１２０１を持つことを特徴とする。但し、記録情報選択部１２０１で選択される画像検索情報はいずれか一つとは限らず、状況に応じてインデックス情報、フレーム特徴量、特徴フレーム抽出に必要な符号化情報のうちの二つ、あるいは全てを記録するといった選択も可能とする。
【００５０】
前記、第一の実施の形態で、シーンチェンジフレームや動きに関する特徴フレーム等の動画像に対する特徴フレームは、その判定の仕方により抽出されるフレームが異なり、また、そのフレームが持つ物理的な意味合いも異なる場合があることを述べた。例えば、激しい動きのあるフレームと動きの小さいフレームは全く別の特徴を有するフレームである。動画像検索を実施した際、その動画像の特徴フレームとして、激しい動きのあるフレームを表示するのが適切であるか、動きの小さいフレームを表示するのが適切であるか、あるいはもっと別の動きに関する特徴を持つフレームが適切であるかは、検索対象の動画像に依存するものであり、検索の過程で適応的に切替えたい要求が生じることが考えられる。このような状況では、記録情報選択部１２０１においてフレーム特徴量の形式あるいは符号化情報の形式で画像検索情報を記録することにより、検索過程での切替え要求に即座に応答することができる。
【００５１】
あるいは、あらかじめ検索対象である動画像に対して何らかの知識が得られ、適した特徴フレームが判っている場合には、記録情報選択部１２０１において特徴フレームのインデックス情報の形式で画像検索情報を記録することにより、画像検索情報量を削減し、高速に検索を実行することができる。また、記録情報選択部１２０１においてフレーム特徴量あるいは符号化情報と特徴フレームのインデックス情報とを共に記録する場合では、検索過程での切替え要求に即座に応答でき、かつ高速に検索を実行することができる。
【００５２】
図１３に、本発明の画像検索装置の第三の実施の形態を示す。前記画像検索情報装置で記録されたインデックス情報、フレーム特徴量、あるいは特徴フレーム抽出に必要な符号化情報が、適宜画像検索装置に入力される。
【００５３】
インデックス情報があれば、インデックス情報から特徴フレーム位置を得、入力された符号化画像データを復号し、表示することで、画像検索が実行される。画像検索の過程で、新たな特徴フレームが必要とされた場合、フレーム特徴量があれば、フレーム特徴量から新たな特徴フレームを抽出し、インデックス情報を生成して画像検索に用いる。
【００５４】
さらに、フレーム特徴量が不適であると判断された場合には、符号化情報があれば、符号化情報から新たなフレーム特徴量を生成し、生成された新たなフレーム特徴量から新たな特徴フレームを抽出し、インデックス情報を生成して画像検索に用いる。
【００５５】
フレーム特徴量、符号化情報を共に記憶しておく利点は、このような自由度の高い画像検索を行える点にある。
【００５６】
符号化情報があり、入力されるフレーム特徴量がない場合では、新たな特徴フレームの抽出要求は直接フレーム特徴量生成部１０２に向けて出される。
【００５７】
このように、本発明の画像検索情報記録装置の第三の実施の形態では、検索を行う対象画像の性質によって記録情報選択部１２０１において記録する情報を選択することで、適切な画像検索情報を記録することができ、また画像検索装置では、適応的に画像検索を実行することができる。また、検索実行時の実行速度や記録容量の制限等によって記録情報選択部１２０１における記録情報を選択することもできる。
【００５８】
これら画像検索情報は、インデックス情報、フレーム特徴量、符号化情報の順に容量が大きくなる。例えば、画像検索情報を記録する記録容量が小さい場合には、容量の小さいインデックス情報のみを記録する。記録容量は十分大きく、かつ検索実行速度が遅いような端末では、すべての情報を記録し検索の自由度を確保した上で、インデックス情報を極力活用することで実行速度を低下させないようにする。
【００５９】
また、記録する画像検索情報をインデックス情報、フレーム特徴量、特徴フレーム抽出に必要な符号化情報のうちの二つに限定し、記録情報選択部１２０１において記録情報を選択することも可能である。
【００６０】
【発明の効果】
本願請求項１に記載の発明に係る画像検索情報記録装置は、上述したような構成によって、特徴フレーム抽出に必要なフレーム特徴量を記録できることにより、様々な検索要求に対して、高速に検索処理を行うことができる。
【００６１】
本願請求項２に記載の発明に係る画像検索情報記録装置は、上述したような構成によって、特徴フレーム抽出に必要なフレーム特徴量を記録できることにより、様々な検索要求に対して、高速に検索処理を行うことができる。
【００６２】
本願請求項３に記載の発明に係る画像検索情報記録装置は、上述したような構成によって、特徴フレーム抽出に必要なフレーム特徴量を記録できることにより、様々な検索要求に対して、高速に検索処理を行うことができる。
【００６３】
本願請求項４に記載の発明に係る画像検索装置は、上述したような構成によって、フレーム特徴量よりもデータ量の少ないインデックス情報を使用することで、画像の検索処理を高速に行なうことができる。
【００６４】
本願請求項５に記載の発明に係る画像検索装置は、上述したような構成によって、様々な検索要求に対して、高速に検索処理を行うことができる。
【００６５】
本願請求項６に記載の発明に係る画像検索装置は、上述したような構成によって、様々な検索要求に対して、柔軟な画像検索を行うことができる。
本願請求項７に記載の発明に係る画像検索装置は、上述したような構成によって、画像の検索処理を高速に行なうことができる。
【図面の簡単な説明】
【図１】本発明の画像検索情報記録装置の第一の実施の形態を表す図である。
【図２】本発明の画像検索情報記録装置の第一の実施の形態でフレーム特徴量生成部の内部構成を表す図である。
【図３】予測符号化方式のフレームの参照関係を表す図である。
【図４】本発明の画像検索装置の第一の実施の形態を表す図である。
【図５】本発明の画像検索装置の第一の実施の形態でインデックス情報生成部の内部構成を表す図である。
【図６】本発明の画像検索情報記録装置の第一の実施の形態を表す図である。
【図７】本発明の画像検索装置の第一の実施の形態を表す図である。
【図８】本発明の画像検索情報記録装置の第二の実施の形態を表す図である。
【図９】本発明の画像検索装置の第二の実施の形態を表す図である。
【図１０】本発明の画像検索情報記録装置の第二の実施の形態を表す図である。
【図１１】本発明の画像検索装置の第二の実施の形態を表す図である。
【図１２】本発明の画像検索情報記録装置の第三の実施の形態を表す図である。
【図１３】本発明の画像検索装置の第三の実施の形態を表す図である。
【図１４】従来技術の画像検索情報記録装置を表す図である。
【図１５】従来技術の画像検索装置を表す図である。
【符号の説明】
１０１、１４０１ 符号化情報読出部
１０２、１４０２ フレーム特徴量生成部
１０３ フレーム特徴量記録部
２０１ 予測モード計数部
２０２ 頻度情報変換部
２０３ 有効動きベクトル検出部
２０４ 動きベクトル統計量計算部
２０５ 統計量情報変換部
４０１、１４０３ インデックス情報生成部
４０２、１５０１ 画像検索実行部
５０１ シーンチェンジフレーム判定部
５０２ シーンチェンジフレームインデックス生成部
５０３ 動き特徴フレーム判定部
５０４ 動き特徴フレームインデックス生成部
６０１、１４０４ インデックス情報記録部
８０１ 符号化情報記録部
１２０１ 記録情報選択部
Claims (7)
- 画像データに基づいて、フレームの特徴を数値化したフレーム特徴量を、フレームそれぞれについて求めるフレーム特徴量生成部と、
該フレーム特徴量生成部に接続され、前記画像データのフレームと対応した形式で前記フレーム特徴量を記録する記録部とを備え、
前記フレーム特徴量は、被写体の動きが激しいまたは動きが小さいことを指す動画像の動きの大小に係る特徴フレームを抽出するのに用いられる数値量であり、
前記フレーム特徴量生成部により、前記フレーム特徴量は、前記画像データに関連する動きベクトル情報の統計量により求められることを特徴とする、画像検索情報記録装置。 - 前記画像データは符号化されたデータであり、
前記符号化されたデータから前記動きベクトル情報を読み出す読出部をさらに備え、
前記フレーム特徴量生成部は、前記読出部で読み出された前記動きベクトル情報に基づいて、前記フレーム特徴量を生成する、請求項１に記載の画像検索情報記録装置。 - 前記統計量は、前記フレームの前および後の少なくとも一方のフレームに対して算出された複数の動きベクトルの長さの平均値である、請求項１または請求項２に記載の画像検索情報記録装置。
- 画像データのフレームと対応した形式で記録されている、フレームの特徴を数値化した各フレームのフレーム特徴量に基づいて、前記画像データ中の特徴フレームを決定し、前記フレーム特徴量よりも情報量が少ない情報であって、該特徴フレームの位置情報であるインデックス情報を生成するインデックス情報生成部と、
前記インデックス情報生成部に接続され、前記インデックス情報を受け取り、前記インデックス情報で指定されたインデックス画像を出力する出力部とを備え、
前記特徴フレームは、被写体の動きが激しいまたは動きが小さいことを指す動画像の動きの大小に係る特徴を有したフレームであり、
前記フレーム特徴量は、前記動画像の動きの大小に係る特徴フレームを抽出するのに用いられる数値量であり、前記画像データに関連する動きベクトル情報を解析して動きベクトル情報の統計量として求められることを特徴とする、画像検索装置。 - 前記出力部は、さらに、外部からインデックス情報を受け取り、前記インデックス情報生成部で生成されたインデックス情報および前記外部から受け取ったインデックス情報の少なくとも一方で指定されたインデックス画像を出力する、請求項４に記載の画像検索装置。
- 前記インデックス情報生成部は、
前記フレーム特徴量を受け取り、前記フレーム特徴量を所定のしきい値と比較することで前記特徴フレームを決定するフレーム決定部と、
前記フレーム決定部に接続され、前記特徴フレームの位置情報であるインデックス情報を生成するインデックス生成部とを含み、
前記インデックス情報は、前記しきい値の設定を検索の過程で変えることにより適応的に変えられる情報である、請求項４または請求項５に記載の画像検索装置。 - 前記フレーム特徴量は、前記フレームが所定のサイズで分割された複数のブロックのうち、符号化において使用した予測方式毎のブロックの総数により求められる値である、請求項４〜６のいずれかに記載の画像検索装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33865898A JP4656680B2 (ja) | 1998-11-30 | 1998-11-30 | 画像検索情報記録装置及び画像検索装置 |
| EP99309322A EP1006464A3 (en) | 1998-11-30 | 1999-11-23 | Image retrieving apparatus performing retrieval based on coding information utilized for featured frame extraction or feature values of frames |
| US09/451,097 US7643554B2 (en) | 1998-11-30 | 1999-11-30 | Image retrieving apparatus performing retrieval based on coding information utilized for feature frame extraction or feature values of frames |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33865898A JP4656680B2 (ja) | 1998-11-30 | 1998-11-30 | 画像検索情報記録装置及び画像検索装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000163438A JP2000163438A (ja) | 2000-06-16 |
| JP2000163438A5 JP2000163438A5 (ja) | 2005-08-04 |
| JP4656680B2 true JP4656680B2 (ja) | 2011-03-23 |
Family
ID=18320254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33865898A Expired - Fee Related JP4656680B2 (ja) | 1998-11-30 | 1998-11-30 | 画像検索情報記録装置及び画像検索装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7643554B2 (ja) |
| EP (1) | EP1006464A3 (ja) |
| JP (1) | JP4656680B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001061448A1 (en) | 2000-02-18 | 2001-08-23 | The University Of Maryland | Methods for the electronic annotation, retrieval, and use of electronic images |
| JP3756748B2 (ja) * | 2000-09-29 | 2006-03-15 | 株式会社東芝 | 画像送信装置および画像伝送方法 |
| KR100619007B1 (ko) * | 2003-06-24 | 2006-08-31 | 삼성전자주식회사 | 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법 |
| JP4145746B2 (ja) * | 2003-07-17 | 2008-09-03 | シャープ株式会社 | 情報出力装置、情報出力方法、情報出力プログラム、および該プログラムを記録した記録媒体 |
| FR2898139B1 (fr) * | 2006-03-06 | 2008-05-30 | Nanoledge Sa | Procede de fabrication de produits extrudes composites polymeres et nanotubes de carbone |
| KR100819404B1 (ko) * | 2006-10-27 | 2008-04-04 | 삼성전자주식회사 | 휴대용 단말기에서 부화면 디코딩 방법 및 장치 |
| JP5583992B2 (ja) * | 2010-03-09 | 2014-09-03 | パナソニック株式会社 | 信号処理装置 |
| CN110139109B (zh) * | 2018-02-08 | 2023-01-10 | 北京三星通信技术研究有限公司 | 图像的编码方法及相应终端 |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06101018B2 (ja) * | 1991-08-29 | 1994-12-12 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 動画像データベースの検索 |
| SE9201183L (sv) * | 1992-04-13 | 1993-06-28 | Dv Sweden Ab | Saett att adaptivt estimera icke oenskade globala bildinstabiliteter i bildsekvenser i digitala videosignaler |
| JPH06149902A (ja) | 1992-11-09 | 1994-05-31 | Matsushita Electric Ind Co Ltd | 動画像記録媒体、動画像記録装置、及び動画像再生装置 |
| KR100215586B1 (ko) | 1992-11-09 | 1999-08-16 | 모리시타 요이찌 | 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 |
| JP3286360B2 (ja) | 1992-11-26 | 2002-05-27 | 松下電器産業株式会社 | 動画像ダイジェスト自動表示装置 |
| KR950002458A (ko) * | 1993-06-02 | 1995-01-04 | 이헌조 | 영상신호의 압축/신장 장치 |
| JP3340532B2 (ja) * | 1993-10-20 | 2002-11-05 | 株式会社日立製作所 | ビデオの検索方法および装置 |
| US5473379A (en) * | 1993-11-04 | 1995-12-05 | At&T Corp. | Method and apparatus for improving motion compensation in digital video coding |
| JP3561942B2 (ja) | 1994-02-24 | 2004-09-08 | 松下電器産業株式会社 | ショット検出方法および代表画像記録・表示装置 |
| US5809201A (en) * | 1994-06-24 | 1998-09-15 | Mitsubishi Denki Kabushiki Kaisha | Specially formatted optical disk and method of playback |
| KR0181034B1 (ko) * | 1995-03-18 | 1999-05-01 | 배순훈 | 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치 |
| KR0178230B1 (ko) * | 1995-08-08 | 1999-05-01 | 배순훈 | 특징점에 의한 움직임 추정을 이용한 영상 처리 장치 |
| JPH0974566A (ja) * | 1995-09-04 | 1997-03-18 | Sony Corp | 圧縮符号化装置及び圧縮符号化データの記録装置 |
| DE69733007T2 (de) * | 1996-02-07 | 2006-02-16 | Sharp K.K. | Vorrichtung zur codierung und decodierung von bewegtbildern |
| JPH09261648A (ja) * | 1996-03-21 | 1997-10-03 | Fujitsu Ltd | シーンチェンジ検出装置 |
| JPH09284702A (ja) | 1996-04-09 | 1997-10-31 | Oki Electric Ind Co Ltd | シーン変化フレーム検出方法および装置 |
| JPH1023421A (ja) | 1996-07-09 | 1998-01-23 | Toshiba Corp | 動画像処理方法 |
| JP2888288B2 (ja) * | 1996-10-03 | 1999-05-10 | 日本電気株式会社 | 画像符号化装置 |
| GB2319684B (en) * | 1996-11-26 | 2000-09-06 | Sony Uk Ltd | Scene change detection |
| JPH10224779A (ja) | 1997-02-10 | 1998-08-21 | Hitachi Ltd | 動画像のシーン変化検出方法及び装置 |
| JP3604864B2 (ja) * | 1997-04-25 | 2004-12-22 | シャープ株式会社 | 動画像符号化装置 |
| JP3780623B2 (ja) * | 1997-05-16 | 2006-05-31 | 株式会社日立製作所 | 動画像の記述方法 |
| JP3844844B2 (ja) * | 1997-06-06 | 2006-11-15 | 富士通株式会社 | 動画像符号化装置及び動画像符号化方法 |
| AUPO894497A0 (en) * | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
| US5990955A (en) * | 1997-10-03 | 1999-11-23 | Innovacom Inc. | Dual encoding/compression method and system for picture quality/data density enhancement |
| US6072542A (en) * | 1997-11-25 | 2000-06-06 | Fuji Xerox Co., Ltd. | Automatic video segmentation using hidden markov model |
| JP3738939B2 (ja) * | 1998-03-05 | 2006-01-25 | Ｋｄｄｉ株式会社 | 動画像のカット点検出装置 |
| US7046734B2 (en) * | 1998-04-02 | 2006-05-16 | Intel Corporation | Method and apparatus for performing real-time data encoding |
-
1998
- 1998-11-30 JP JP33865898A patent/JP4656680B2/ja not_active Expired - Fee Related
-
1999
- 1999-11-23 EP EP99309322A patent/EP1006464A3/en not_active Withdrawn
- 1999-11-30 US US09/451,097 patent/US7643554B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1006464A3 (en) | 2003-02-05 |
| JP2000163438A (ja) | 2000-06-16 |
| EP1006464A2 (en) | 2000-06-07 |
| US20030202585A1 (en) | 2003-10-30 |
| US7643554B2 (en) | 2010-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3738939B2 (ja) | 動画像のカット点検出装置 | |
| KR100464075B1 (ko) | 비디오 하이라이트 자동 생성 방법 및 장치 | |
| JP4666784B2 (ja) | ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置 | |
| JP4559935B2 (ja) | 画像記憶装置及び方法 | |
| JP3244629B2 (ja) | シーン変化点検出方法 | |
| WO2001015459A1 (en) | Time-varying image processor, its method, and recorded medium | |
| US20060193387A1 (en) | Extracting key frames from a video sequence | |
| JP3451985B2 (ja) | 動画像類似度算出装置および方法 | |
| JP4520994B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP4656680B2 (ja) | 画像検索情報記録装置及び画像検索装置 | |
| JP4667356B2 (ja) | 映像表示装置及びその制御方法、プログラム、記録媒体 | |
| US7071974B2 (en) | Image processing apparatus | |
| JP4620126B2 (ja) | 映像識別装置 | |
| KR100713501B1 (ko) | 이동통신단말기상에서 디지털 동영상을 인덱싱하는 방법 | |
| US6078615A (en) | Encoding/decoding apparatus which performs an inverse orthogonal transformation on decoded data | |
| JP2004282318A (ja) | シーンチェンジ検出方法および装置 | |
| EP1643764A1 (en) | Video reproducing apparatus | |
| KR20170090868A (ko) | 장면 전환 프레임 검출 장치 및 방법 | |
| JP2000163438A5 (ja) | ||
| JPWO2007013407A1 (ja) | ダイジェスト生成装置、ダイジェスト生成方法、ダイジェスト生成プログラムを格納した記録媒体、およびダイジェスト生成装置に用いる集積回路 | |
| JP4053251B2 (ja) | 画像検索システムおよび画像蓄積方法 | |
| JP4379666B2 (ja) | 情報信号処理装置並びに情報信号処理方法および情報信号再生装置 | |
| JPH09200704A (ja) | 動画像抽出装置 | |
| US6674909B1 (en) | MPEG data processing apparatus comprising an arrangement for estimating an interval between particular picture data | |
| JPH10112864A (ja) | カメラワーク算出方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041228 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041228 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080416 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080821 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080930 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081125 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081208 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090109 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101221 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |