JP2000163438A - 画像検索情報記録装置及び画像検索装置 - Google Patents
画像検索情報記録装置及び画像検索装置Info
- Publication number
- JP2000163438A JP2000163438A JP10338658A JP33865898A JP2000163438A JP 2000163438 A JP2000163438 A JP 2000163438A JP 10338658 A JP10338658 A JP 10338658A JP 33865898 A JP33865898 A JP 33865898A JP 2000163438 A JP2000163438 A JP 2000163438A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- information
- feature
- encoded
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 画像検索の過程で状況に応じて異なる特徴フ
レームが要求された時、早急に、かつ適応的に対応を可
能とする画像検索情報記録装置及び画像検索装置を提供
する。 【解決手段】 画像検索情報記録装置においては、符号
化された画像データに含まれる符号化情報に基づき、特
徴フレームを決定するための直接の規準となる各フレー
ムに対する特徴量を生成するフレーム特徴量生成部１０
２を有し、該フレーム特徴量を画像検索情報として記録
する記録部１０３を設ける。画像検索装置においては、
記録された各フレームに対する特徴量に基づいて特徴フ
レームを決定し、該特徴フレームの位置情報に基づいて
インデックス情報を生成するインデックス情報生成部を
設ける。
レームが要求された時、早急に、かつ適応的に対応を可
能とする画像検索情報記録装置及び画像検索装置を提供
する。 【解決手段】 画像検索情報記録装置においては、符号
化された画像データに含まれる符号化情報に基づき、特
徴フレームを決定するための直接の規準となる各フレー
ムに対する特徴量を生成するフレーム特徴量生成部１０
２を有し、該フレーム特徴量を画像検索情報として記録
する記録部１０３を設ける。画像検索装置においては、
記録された各フレームに対する特徴量に基づいて特徴フ
レームを決定し、該特徴フレームの位置情報に基づいて
インデックス情報を生成するインデックス情報生成部を
設ける。
Description
【０００１】
【発明の属する技術分野】本発明は、蓄積された複数の
符号化された画像データから所望の画像を検索するため
に用いる画像検索情報の生成、記録と、該画像検索情報
を用いた画像検索の実現方法に関するものである。
符号化された画像データから所望の画像を検索するため
に用いる画像検索情報の生成、記録と、該画像検索情報
を用いた画像検索の実現方法に関するものである。
【０００２】
【従来の技術】動画像を検索する場合、その動画像が何
を撮影したものであるかといった動画像の内容を知るこ
とが重要である。そのためには、文字のタイトルや説明
文がついているといった場合を除けば、殆どの場合、動
画像全体を再生して内容を確認する必要がある。しか
し、検索対象となる動画像の数が増えるにつれ、全ての
動画像を逐一再生して確認していたのでは利用者の負担
は重くなり、検索効率としても甚だ悪い。各動画像が符
号化された圧縮データであり復号処理を行った上で再生
し検索するといった状況では、更にそれが顕著である。
この問題を解決する一つの方法として、動画像の内容を
端的に表す動画像内の特徴的なフレームを一枚あるいは
複数枚抽出し、それらを表示することで動画像の概略的
な内容を表示する検索方式が有効であると考えられる。
を撮影したものであるかといった動画像の内容を知るこ
とが重要である。そのためには、文字のタイトルや説明
文がついているといった場合を除けば、殆どの場合、動
画像全体を再生して内容を確認する必要がある。しか
し、検索対象となる動画像の数が増えるにつれ、全ての
動画像を逐一再生して確認していたのでは利用者の負担
は重くなり、検索効率としても甚だ悪い。各動画像が符
号化された圧縮データであり復号処理を行った上で再生
し検索するといった状況では、更にそれが顕著である。
この問題を解決する一つの方法として、動画像の内容を
端的に表す動画像内の特徴的なフレームを一枚あるいは
複数枚抽出し、それらを表示することで動画像の概略的
な内容を表示する検索方式が有効であると考えられる。
【０００３】動画像検索における特徴的なフレーム（以
下、特徴フレームと呼ぶ）としては、例えばシーンチェ
ンジフレームがある。特開平９―２６１６４８では、フ
レーム間予測符号化方式により符号化された画像データ
に対して、画像データに含まれる予測モード情報からシ
ーンチェンジフレームを抽出する手法が述べられてい
る。１フレームに亘って、フレーム内予測方式で符号化
されたＩブロック、前方向フレーム間予測方式で符号化
されたＰブロック、後方向フレーム間予測方式で符号化
されたＢブロック、双方向フレーム間予測方式で符号化
されたＢｉブロックのそれぞれを計数する。この時、こ
の各ブロックの頻度情報は動画像中のフレーム間の相関
を反映することから、各ブロックの頻度情報に基づいて
シーンが変化した直後のフレーム（＝シーンチェンジフ
レーム）を検出する。また、特開平１０―２３４２１で
は、符号化された画像データに含まれる符号化情報各々
の符号量の変化から、シーンチェンジフレームを抽出す
る手法が述べられている。これらの従来技術に基づいた
従来の画像検索情報記録装置を図示すると、図１４のよ
うになる。
下、特徴フレームと呼ぶ）としては、例えばシーンチェ
ンジフレームがある。特開平９―２６１６４８では、フ
レーム間予測符号化方式により符号化された画像データ
に対して、画像データに含まれる予測モード情報からシ
ーンチェンジフレームを抽出する手法が述べられてい
る。１フレームに亘って、フレーム内予測方式で符号化
されたＩブロック、前方向フレーム間予測方式で符号化
されたＰブロック、後方向フレーム間予測方式で符号化
されたＢブロック、双方向フレーム間予測方式で符号化
されたＢｉブロックのそれぞれを計数する。この時、こ
の各ブロックの頻度情報は動画像中のフレーム間の相関
を反映することから、各ブロックの頻度情報に基づいて
シーンが変化した直後のフレーム（＝シーンチェンジフ
レーム）を検出する。また、特開平１０―２３４２１で
は、符号化された画像データに含まれる符号化情報各々
の符号量の変化から、シーンチェンジフレームを抽出す
る手法が述べられている。これらの従来技術に基づいた
従来の画像検索情報記録装置を図示すると、図１４のよ
うになる。
【０００４】符号化情報読出部１４０１は、符号化され
た画像データから、特開平９―２６１６４８においては
ブロック毎の予測モード情報を、特開平１０―２３４２
１においては各符号化情報を種類別に読み出す。次に、
フレーム特徴量生成部１４０２は、符号化情報読出部１
４０１で読み出された各種符号化情報から、特開平９―
２６１６４８においては各予測モードブロックの頻度
を、特開平１０―２３４２１においては各符号化情報別
の符号量の累積値を算出する。インデックス情報生成部
１３０３は、フレーム特徴量生成部１３０２で求められ
たフレーム毎の特徴量、特開平９−２６１６４８では各
予測モードブロックの頻度情報、特開平１０−２３４２
１では各符号化情報別の累積符号量、を基に特徴フレー
ムであるシーンチェンジフレームを決定し、その位置情
報をインデックス情報として出力する。最後に、インデ
ックス情報記録部１４０４は、インデックス情報生成部
１４０３から出力されたインデックス情報を画像検索情
報として記録する。一方、図１５は、こうして記録され
た画像検索情報を用いた従来の画像検索装置を表してい
る。画像検索実行部１５０１において、画像検索情報及
び符号化された画像データを入力として実際の検索を実
行し、検索結果が出力される。
た画像データから、特開平９―２６１６４８においては
ブロック毎の予測モード情報を、特開平１０―２３４２
１においては各符号化情報を種類別に読み出す。次に、
フレーム特徴量生成部１４０２は、符号化情報読出部１
４０１で読み出された各種符号化情報から、特開平９―
２６１６４８においては各予測モードブロックの頻度
を、特開平１０―２３４２１においては各符号化情報別
の符号量の累積値を算出する。インデックス情報生成部
１３０３は、フレーム特徴量生成部１３０２で求められ
たフレーム毎の特徴量、特開平９−２６１６４８では各
予測モードブロックの頻度情報、特開平１０−２３４２
１では各符号化情報別の累積符号量、を基に特徴フレー
ムであるシーンチェンジフレームを決定し、その位置情
報をインデックス情報として出力する。最後に、インデ
ックス情報記録部１４０４は、インデックス情報生成部
１４０３から出力されたインデックス情報を画像検索情
報として記録する。一方、図１５は、こうして記録され
た画像検索情報を用いた従来の画像検索装置を表してい
る。画像検索実行部１５０１において、画像検索情報及
び符号化された画像データを入力として実際の検索を実
行し、検索結果が出力される。
【０００５】また、シーンチェンジフレーム以外の特徴
フレームとしては、特開平９−２８４７０２で述べてい
る、動きの緩急に基づくシーン変化フレームがある。特
開平９−２８４７０２は、符号化情報からではなく原画
像からシーン変化フレーム検出用の動きベクトルを独立
して求め、フレーム内の動きベクトルの総和を基にシー
ン変化フレームを検出している。
フレームとしては、特開平９−２８４７０２で述べてい
る、動きの緩急に基づくシーン変化フレームがある。特
開平９−２８４７０２は、符号化情報からではなく原画
像からシーン変化フレーム検出用の動きベクトルを独立
して求め、フレーム内の動きベクトルの総和を基にシー
ン変化フレームを検出している。
【０００６】
【発明が解決しようとする課題】上記従来の画像検索情
報記録装置では、抽出された特徴フレームからその位置
情報を求め、その位置情報のみをインデックス情報とし
て記録していた。そのため、検索対象である複数の画像
がそれぞれに異なる特徴を有する場合でも、同一の特徴
を表現した特徴フレームしか得られず、各画像の特徴に
合わせた特徴フレームを得たければ、符号化画像データ
まで戻って画像検索情報の生成を行わなければならなか
った。検索の過程で、検索対象画像に関する様々な特徴
に対応した特徴フレームを対話的に取り出すといった局
面では、符号化画像データまで戻って画像検索情報の生
成を行うことは、非常に検索効率を低下させる。また、
全画像データに対して、考えられる全ての特徴に対応し
た特徴フレームインデックスを用意しておくことも現実
的ではなく、更に、画像検索情報提供者が予期し得なか
った特徴フレームの要求に対しても、従来技術では効率
良く対処することができない。
報記録装置では、抽出された特徴フレームからその位置
情報を求め、その位置情報のみをインデックス情報とし
て記録していた。そのため、検索対象である複数の画像
がそれぞれに異なる特徴を有する場合でも、同一の特徴
を表現した特徴フレームしか得られず、各画像の特徴に
合わせた特徴フレームを得たければ、符号化画像データ
まで戻って画像検索情報の生成を行わなければならなか
った。検索の過程で、検索対象画像に関する様々な特徴
に対応した特徴フレームを対話的に取り出すといった局
面では、符号化画像データまで戻って画像検索情報の生
成を行うことは、非常に検索効率を低下させる。また、
全画像データに対して、考えられる全ての特徴に対応し
た特徴フレームインデックスを用意しておくことも現実
的ではなく、更に、画像検索情報提供者が予期し得なか
った特徴フレームの要求に対しても、従来技術では効率
良く対処することができない。
【０００７】本発明はこれらの問題点を鑑みてなされた
ものであり、特徴フレーム抽出に利用する符号化情報あ
るいは特徴フレームを抽出するための各フレームに対す
る特徴量を記録することで、検索過程で適応的に特徴フ
レームを抽出することを可能とするものである。
ものであり、特徴フレーム抽出に利用する符号化情報あ
るいは特徴フレームを抽出するための各フレームに対す
る特徴量を記録することで、検索過程で適応的に特徴フ
レームを抽出することを可能とするものである。
【０００８】
【課題を解決するための手段】本発明の請求項１によれ
ば、符号化された画像データからフレームの特徴を表す
情報となる所定の符号化情報を読み出す符号化情報読出
部と、該符号化情報に基づいて、フレームの特徴を数値
化したフレーム特徴量を求めるフレーム特徴量生成部
と、前記符号化された画像データの各フレームに対応さ
せて、前記符号化情報及びフレーム特徴量を記録させる
記録部を備えることにより、上記課題を解決する。
ば、符号化された画像データからフレームの特徴を表す
情報となる所定の符号化情報を読み出す符号化情報読出
部と、該符号化情報に基づいて、フレームの特徴を数値
化したフレーム特徴量を求めるフレーム特徴量生成部
と、前記符号化された画像データの各フレームに対応さ
せて、前記符号化情報及びフレーム特徴量を記録させる
記録部を備えることにより、上記課題を解決する。
【０００９】本発明の請求項２によれば、符号化された
画像データからフレームの特徴を表す情報となる所定の
符号化情報を読み出す符号化情報読出部と、前記符号化
された画像データの各フレームに対応させて、前記符号
化情報を記録させる記録部を備えることにより、上記課
題を解決する。
画像データからフレームの特徴を表す情報となる所定の
符号化情報を読み出す符号化情報読出部と、前記符号化
された画像データの各フレームに対応させて、前記符号
化情報を記録させる記録部を備えることにより、上記課
題を解決する。
【００１０】本発明の請求項３によれば、符号化された
画像データからフレームの特徴を表す情報となる所定の
符号化情報を読み出す符号化情報読出部と、該符号化情
報に基づいて、フレームの特徴を数値化したフレーム特
徴量を求めるフレーム特徴量生成部と、前記符号化され
た画像データの各フレームに対応させて、前記フレーム
特徴量を記録させる記録部を備えることにより上記課題
を解決する。
画像データからフレームの特徴を表す情報となる所定の
符号化情報を読み出す符号化情報読出部と、該符号化情
報に基づいて、フレームの特徴を数値化したフレーム特
徴量を求めるフレーム特徴量生成部と、前記符号化され
た画像データの各フレームに対応させて、前記フレーム
特徴量を記録させる記録部を備えることにより上記課題
を解決する。
【００１１】本発明の請求項４によれば、符号化された
画像データ及び、該画像データの各フレームに対応させ
て記憶されているフレームの特徴を表す情報となる所定
の符号化情報及び、該符号化情報に基づいてフレームの
特徴を数値化したフレーム特徴量を入力する入力部と、
該符号化情報に基づいて、フレームの特徴を数値化した
フレーム特徴量を求めるフレーム特徴量生成部と、前記
入力部あるいはフレーム特徴量生成部からのフレーム特
徴量に基づいて、前記画像データ中の特徴フレームを決
定し、該特徴フレームの位置情報であるインデックス情
報を生成するインデックス情報生成部と、該インデック
ス情報に基づいて、インデックス画像を出力する出力部
とを備えることにより、上記課題を解決する。
画像データ及び、該画像データの各フレームに対応させ
て記憶されているフレームの特徴を表す情報となる所定
の符号化情報及び、該符号化情報に基づいてフレームの
特徴を数値化したフレーム特徴量を入力する入力部と、
該符号化情報に基づいて、フレームの特徴を数値化した
フレーム特徴量を求めるフレーム特徴量生成部と、前記
入力部あるいはフレーム特徴量生成部からのフレーム特
徴量に基づいて、前記画像データ中の特徴フレームを決
定し、該特徴フレームの位置情報であるインデックス情
報を生成するインデックス情報生成部と、該インデック
ス情報に基づいて、インデックス画像を出力する出力部
とを備えることにより、上記課題を解決する。
【００１２】本発明の請求項５によれば、符号化された
画像データ及び、該画像データの各フレームに対応させ
て記憶されているフレームの特徴を表す情報となる所定
の符号化情報を入力する入力部と、該符号化情報に基づ
いて、フレームの特徴を数値化したフレーム特徴量を求
めるフレーム特徴量生成部と、前記フレーム特徴量生成
部からのフレーム特徴量に基づいて、前記画像データ中
の特徴フレームを決定し、該特徴フレームの位置情報で
あるインデックス情報を生成するインデックス情報生成
部と、該インデックス情報に基づいて、インデックス画
像を出力する出力部とを備えることにより、上記課題を
解決する。
画像データ及び、該画像データの各フレームに対応させ
て記憶されているフレームの特徴を表す情報となる所定
の符号化情報を入力する入力部と、該符号化情報に基づ
いて、フレームの特徴を数値化したフレーム特徴量を求
めるフレーム特徴量生成部と、前記フレーム特徴量生成
部からのフレーム特徴量に基づいて、前記画像データ中
の特徴フレームを決定し、該特徴フレームの位置情報で
あるインデックス情報を生成するインデックス情報生成
部と、該インデックス情報に基づいて、インデックス画
像を出力する出力部とを備えることにより、上記課題を
解決する。
【００１３】本発明の請求項６によれば、符号化された
画像データ及び、該画像データの各フレームに対応させ
て記憶されているフレームの特徴を数値化したフレーム
特徴量を入力する入力部と、該フレーム特徴量に基づい
て、前記画像データ中の特徴フレームを決定し、該特徴
フレームの位置情報であるインデックス情報を生成する
インデックス情報生成部と、該インデックス情報に基づ
いて、インデックス画像を出力する出力部とを備えるこ
とにより、上記課題を解決する。
画像データ及び、該画像データの各フレームに対応させ
て記憶されているフレームの特徴を数値化したフレーム
特徴量を入力する入力部と、該フレーム特徴量に基づい
て、前記画像データ中の特徴フレームを決定し、該特徴
フレームの位置情報であるインデックス情報を生成する
インデックス情報生成部と、該インデックス情報に基づ
いて、インデックス画像を出力する出力部とを備えるこ
とにより、上記課題を解決する。
【００１４】
【発明の実施の形態】本発明の実施の形態では、画像デ
ータに含まれる符号化情報のうち、符号化予測モード情
報並びに動きベクトル情報を用いて、シーンチェンジフ
レーム、局所的に激しい動きの見られるフレームを特徴
フレームとして抽出するケースを採り上げる。無論、こ
れ以外の符号化情報を用いる、あるいはこれ以外の特徴
フレームを抽出するケースであっても、本発明で示した
構成を有する場合があることは言うまでもない。
ータに含まれる符号化情報のうち、符号化予測モード情
報並びに動きベクトル情報を用いて、シーンチェンジフ
レーム、局所的に激しい動きの見られるフレームを特徴
フレームとして抽出するケースを採り上げる。無論、こ
れ以外の符号化情報を用いる、あるいはこれ以外の特徴
フレームを抽出するケースであっても、本発明で示した
構成を有する場合があることは言うまでもない。
【００１５】図１乃至図７に本発明の画像検索情報記録
装置及び画像検索装置の第一の実施の形態を示す。
装置及び画像検索装置の第一の実施の形態を示す。
【００１６】図１は本発明の画像検索情報記録装置の第
一の実施の形態を表す構成図である。符号化情報読出部
１０１は、符号化された画像データを入力し、画像デー
タに含まれる所望の符号化情報を読み出して出力する。
本実施の形態における符号化情報読出部１０１では、符
号化画像データから予測モード情報、動きベクトル情報
を抜き出し、出力する。
一の実施の形態を表す構成図である。符号化情報読出部
１０１は、符号化された画像データを入力し、画像デー
タに含まれる所望の符号化情報を読み出して出力する。
本実施の形態における符号化情報読出部１０１では、符
号化画像データから予測モード情報、動きベクトル情報
を抜き出し、出力する。
【００１７】フレーム特徴量生成部１０２は、符号化情
報読出部１０１で得られた各符号化情報を加工し、特徴
フレームを判定するための判定基準となる各フレームに
対しての特徴量を生成し、出力する。図２は、本実施の
形態における図１中のフレーム特徴量生成部１０２の内
部構成を図示したものである。
報読出部１０１で得られた各符号化情報を加工し、特徴
フレームを判定するための判定基準となる各フレームに
対しての特徴量を生成し、出力する。図２は、本実施の
形態における図１中のフレーム特徴量生成部１０２の内
部構成を図示したものである。
【００１８】符号化情報読出部１０１で読み出される符
号化予測モード情報は、各フレームに対する予測符号化
方式、並びにフレーム中の各符号化ブロックの予測方式
とする。予測モード計数部２０１は、フレーム毎に各予
測方式で符号化されたブロック数を計数する。前方向予
測符号化フレーム（Ｐフレーム）では、フレーム内予測
方式で符号化されたＩブロック、フレーム間予測方式で
符号化されたＰブロックのそれぞれを計数する。双方向
予測符号化フレーム（Ｂフレーム）では、フレーム内予
測方式で符号化されたＩブロック、前方向フレーム間予
測方式で符号化されたＰブロック、後方向フレーム間予
測方式で符号化されたＢブロック、双方向フレーム間予
測方式で符号化されたＢｉブロックのそれぞれを計数す
る。
号化予測モード情報は、各フレームに対する予測符号化
方式、並びにフレーム中の各符号化ブロックの予測方式
とする。予測モード計数部２０１は、フレーム毎に各予
測方式で符号化されたブロック数を計数する。前方向予
測符号化フレーム（Ｐフレーム）では、フレーム内予測
方式で符号化されたＩブロック、フレーム間予測方式で
符号化されたＰブロックのそれぞれを計数する。双方向
予測符号化フレーム（Ｂフレーム）では、フレーム内予
測方式で符号化されたＩブロック、前方向フレーム間予
測方式で符号化されたＰブロック、後方向フレーム間予
測方式で符号化されたＢブロック、双方向フレーム間予
測方式で符号化されたＢｉブロックのそれぞれを計数す
る。
【００１９】更に、予測モード計数部２０１は、Ｐフレ
ームではＰブロック数Ｐｐを、Ｂフレームでは前方向フ
レーム間予測ブロック総数Ｂｆ（＝Ｐ＋Ｂｉ）及び後方
向フレーム間予測ブロック総数Ｂｂ（＝Ｂ＋Ｂｉ）を、
各フレームに対するブロック予測モード頻度情報として
出力する。
ームではＰブロック数Ｐｐを、Ｂフレームでは前方向フ
レーム間予測ブロック総数Ｂｆ（＝Ｐ＋Ｂｉ）及び後方
向フレーム間予測ブロック総数Ｂｂ（＝Ｂ＋Ｂｉ）を、
各フレームに対するブロック予測モード頻度情報として
出力する。
【００２０】頻度情報変換部２０２は、これらの頻度情
報を各フレームに関する付属情報（以下、この各フレー
ムに関連する付属情報のことをフレーム特徴量と呼ぶ）
に変換する。本実施の形態では、各フレーム特徴量は、
そのフレームと直前のフレーム間での相関を示すものと
なるように設定する。
報を各フレームに関する付属情報（以下、この各フレー
ムに関連する付属情報のことをフレーム特徴量と呼ぶ）
に変換する。本実施の形態では、各フレーム特徴量は、
そのフレームと直前のフレーム間での相関を示すものと
なるように設定する。
【００２１】図３は、フレーム間予測符号化時のＰ、Ｂ
各フレーム間の参照関係の例を矢印で示したもので、矢
印の始点が符号化／復号の対象フレームを、矢印の終点
が符号化／復号時の参照フレームを表す。各矢印に付さ
れたＰｐ、Ｂｆｎ、Ｂｂｎを上記頻度情報とすると、例
えばフレームＢ２に対するフレーム特徴量、即ちフレー
ムＢ１とフレームＢ２との相関に関わる頻度情報とは、
ここに付された各ブロック頻度情報Ｐｐ、Ｂｆｎ、Ｂｂ
ｎから所定の演算によって算出されるべきものである。
各フレーム間の参照関係の例を矢印で示したもので、矢
印の始点が符号化／復号の対象フレームを、矢印の終点
が符号化／復号時の参照フレームを表す。各矢印に付さ
れたＰｐ、Ｂｆｎ、Ｂｂｎを上記頻度情報とすると、例
えばフレームＢ２に対するフレーム特徴量、即ちフレー
ムＢ１とフレームＢ２との相関に関わる頻度情報とは、
ここに付された各ブロック頻度情報Ｐｐ、Ｂｆｎ、Ｂｂ
ｎから所定の演算によって算出されるべきものである。
【００２２】本実施の形態では、Ｂｆ２があるしきい値
を超える場合にはＢｆ２の値を、Ｂｆ２があるしきい値
を超えずＢｂ１がしきい値を超える場合にはＢｂ１を、
そうでない場合にはＢｆ２とＢｂ１のうちいずれか大き
い方を、フレームＢ２のフレーム特徴量とした。フレー
ムＢ３も同様である。フレームＢ１についてはＢｆ１を
フレーム特徴量とした。また、フレームＰ４について
は、Ｂｂ３とＰｐのうち大きい方をフレームＰ４のフレ
ーム特徴量とした。無論、各フレームに関する付属情報
の算出方法はこれに限るものではない。また、予測モー
ド計数部２０１で計数される上記符号化ブロック頻度情
報をそのままフレーム特徴量と捉えてもよい。
を超える場合にはＢｆ２の値を、Ｂｆ２があるしきい値
を超えずＢｂ１がしきい値を超える場合にはＢｂ１を、
そうでない場合にはＢｆ２とＢｂ１のうちいずれか大き
い方を、フレームＢ２のフレーム特徴量とした。フレー
ムＢ３も同様である。フレームＢ１についてはＢｆ１を
フレーム特徴量とした。また、フレームＰ４について
は、Ｂｂ３とＰｐのうち大きい方をフレームＰ４のフレ
ーム特徴量とした。無論、各フレームに関する付属情報
の算出方法はこれに限るものではない。また、予測モー
ド計数部２０１で計数される上記符号化ブロック頻度情
報をそのままフレーム特徴量と捉えてもよい。
【００２３】動きベクトル統計量計算部２０４は、符号
化情報読出部１０１で得られる上記予測モード情報に基
づいて、ＰフレームについてはＰブロックに対応した動
きベクトルのベクトル長さのフレーム全体における平均
値を、Ｂフレームについては前方向フレーム間予測で符
号化される全ブロック（上記Ｂｆ）、後方向フレーム間
予測で符号化される全ブロック（上記Ｂｂ）にそれぞれ
対応した動きベクトルのベクトル長さのフレーム全体に
おける平均値を、それぞれ計算する。計算する統計量は
ベクトル長さの平均値に限らず、平均ベクトル等、別の
統計量であってもよい。また、計算の際には対象フレー
ムと参照フレームとの間隔を考慮して動きベクトルを正
規化する。
化情報読出部１０１で得られる上記予測モード情報に基
づいて、ＰフレームについてはＰブロックに対応した動
きベクトルのベクトル長さのフレーム全体における平均
値を、Ｂフレームについては前方向フレーム間予測で符
号化される全ブロック（上記Ｂｆ）、後方向フレーム間
予測で符号化される全ブロック（上記Ｂｂ）にそれぞれ
対応した動きベクトルのベクトル長さのフレーム全体に
おける平均値を、それぞれ計算する。計算する統計量は
ベクトル長さの平均値に限らず、平均ベクトル等、別の
統計量であってもよい。また、計算の際には対象フレー
ムと参照フレームとの間隔を考慮して動きベクトルを正
規化する。
【００２４】加えて、本実施の形態では、動きベクトル
統計量計算部２０４は有効動きベクトル検出部２０３で
有効と判定された動きベクトルのみを用いて統計量を計
算する。例えばカメラが被写体を捉えつつ移動している
ような場合では、撮影された画像は被写体と背景とが全
く違った大きさや方向の動きベクトルを持つことがあ
る。このような場合に、注目するある領域、例えば被写
体の領域についての動きベクトルだけを抽出して動きの
大小等の判定に利用するために、有効動きベクトル検出
部２０３を用いる。
統計量計算部２０４は有効動きベクトル検出部２０３で
有効と判定された動きベクトルのみを用いて統計量を計
算する。例えばカメラが被写体を捉えつつ移動している
ような場合では、撮影された画像は被写体と背景とが全
く違った大きさや方向の動きベクトルを持つことがあ
る。このような場合に、注目するある領域、例えば被写
体の領域についての動きベクトルだけを抽出して動きの
大小等の判定に利用するために、有効動きベクトル検出
部２０３を用いる。
【００２５】背景からの被写体領域の切り出し方法に
は、フレーム全体の動きベクトルのベクトル平均を求
め、ベクトル平均から外れる動きベクトルを逐次抽出し
ていく方式や、クラスタリングによって２つの領域に分
割する方式等が考えられる。動画像の内容が被写体の数
が増える等して更に複雑になった場合には、それに応じ
た有効動きベクトル検出方式を用いる。逆に画像がその
ような性質を持たない場合には、有効動きベクトル検出
を行わずにフレーム全体での動きベクトルの統計量を計
算してもよい。
は、フレーム全体の動きベクトルのベクトル平均を求
め、ベクトル平均から外れる動きベクトルを逐次抽出し
ていく方式や、クラスタリングによって２つの領域に分
割する方式等が考えられる。動画像の内容が被写体の数
が増える等して更に複雑になった場合には、それに応じ
た有効動きベクトル検出方式を用いる。逆に画像がその
ような性質を持たない場合には、有効動きベクトル検出
を行わずにフレーム全体での動きベクトルの統計量を計
算してもよい。
【００２６】統計量情報変換部２０５は、動きベクトル
統計量計算部２０４で得られた上記各動きベクトル統計
量を、フレーム毎に与えるフレーム特徴量へ変換する。
予測モード情報に基づくフレーム特徴量と同様、本実施
の形態では、動きベクトル情報に基づくフレーム特徴量
は、そのフレームと直前のフレーム間での動き情報を示
すものとなるように設定する。またこの時、予測モード
計数部２０１で得られた符号化ブロック頻度情報を、動
きベクトルフレーム特徴量の計算にあたって参照する。
統計量計算部２０４で得られた上記各動きベクトル統計
量を、フレーム毎に与えるフレーム特徴量へ変換する。
予測モード情報に基づくフレーム特徴量と同様、本実施
の形態では、動きベクトル情報に基づくフレーム特徴量
は、そのフレームと直前のフレーム間での動き情報を示
すものとなるように設定する。またこの時、予測モード
計数部２０１で得られた符号化ブロック頻度情報を、動
きベクトルフレーム特徴量の計算にあたって参照する。
【００２７】図３において、フレームＢ２に付される動
きベクトルフレーム特徴量は、ブロック頻度Ｂｆ２、Ｂ
ｂ１が共にあるしきい値を超える場合にはＢｆ２、Ｂｂ
１に対応する全動きベクトルのベクトル長さ平均を、Ｂ
ｆ２のみが超える場合にはＢｆ２に対応した動きベクト
ルのベクトル長さ平均を、Ｂｂ１のみが超える場合には
Ｂｂ１に対応した動きベクトルのベクトル長さ平均を、
そうでない場合には０を与えることとした。フレームＢ
３も同様である。フレームＢ１については、Ｂｆ１があ
るしきい値を超える場合にはＢｆ１に対応する動きベク
トルのベクトル長さ平均を、そうでない場合には０を与
えることとした。また、フレームＰ４については、Ｂｂ
３とＰｐが共にあるしきい値を超える場合にはＢｂ３、
Ｐｐに対応する（正規化された）全動きベクトルのベク
トル長さ平均を、Ｂｂ３のみが超える場合にはＢｂ３に
対応した動きベクトルのベクトル長さ平均を、そうでな
い場合には０を与えることとした。
きベクトルフレーム特徴量は、ブロック頻度Ｂｆ２、Ｂ
ｂ１が共にあるしきい値を超える場合にはＢｆ２、Ｂｂ
１に対応する全動きベクトルのベクトル長さ平均を、Ｂ
ｆ２のみが超える場合にはＢｆ２に対応した動きベクト
ルのベクトル長さ平均を、Ｂｂ１のみが超える場合には
Ｂｂ１に対応した動きベクトルのベクトル長さ平均を、
そうでない場合には０を与えることとした。フレームＢ
３も同様である。フレームＢ１については、Ｂｆ１があ
るしきい値を超える場合にはＢｆ１に対応する動きベク
トルのベクトル長さ平均を、そうでない場合には０を与
えることとした。また、フレームＰ４については、Ｂｂ
３とＰｐが共にあるしきい値を超える場合にはＢｂ３、
Ｐｐに対応する（正規化された）全動きベクトルのベク
トル長さ平均を、Ｂｂ３のみが超える場合にはＢｂ３に
対応した動きベクトルのベクトル長さ平均を、そうでな
い場合には０を与えることとした。
【００２８】無論、各フレームに関する動きベクトルフ
レーム特徴量の算出方法はこれに限るものではない。ま
た、動きベクトル統計量計算部２０４で算出される上記
各ブロックに対応した動きベクトル統計量をそのままフ
レーム毎の動きベクトルフレーム統計量と捉えてもよ
い。
レーム特徴量の算出方法はこれに限るものではない。ま
た、動きベクトル統計量計算部２０４で算出される上記
各ブロックに対応した動きベクトル統計量をそのままフ
レーム毎の動きベクトルフレーム統計量と捉えてもよ
い。
【００２９】このようにして得られた予測モードフレー
ム特徴量並びに動きベクトルフレーム特徴量が、フレー
ム特徴量生成部１０２から出力され、フレーム特徴量記
録部１０３で所定の記録場所に記録される。フレーム特
徴量の記録場所は、各フレーム毎の符号化画像データと
対応させた位置、例えば各フレーム毎の符号化画像デー
タのヘッダ情報として記録してもよいし、画像検索用の
別データとして、符号化画像データと独立させて記録し
てもよい。
ム特徴量並びに動きベクトルフレーム特徴量が、フレー
ム特徴量生成部１０２から出力され、フレーム特徴量記
録部１０３で所定の記録場所に記録される。フレーム特
徴量の記録場所は、各フレーム毎の符号化画像データと
対応させた位置、例えば各フレーム毎の符号化画像デー
タのヘッダ情報として記録してもよいし、画像検索用の
別データとして、符号化画像データと独立させて記録し
てもよい。
【００３０】図４は、本発明の画像検索装置の第一の実
施の形態を表す構成図である。インデックス情報生成部
４０１は、上記画像検索情報記録装置で記録されたフレ
ーム特徴量を入力とし、各フレーム毎のフレーム特徴量
に基づき所望の特徴フレームを抽出した後、その位置情
報をインデックス情報として生成し、出力する。
施の形態を表す構成図である。インデックス情報生成部
４０１は、上記画像検索情報記録装置で記録されたフレ
ーム特徴量を入力とし、各フレーム毎のフレーム特徴量
に基づき所望の特徴フレームを抽出した後、その位置情
報をインデックス情報として生成し、出力する。
【００３１】図５は、本実施の形態における図４中のイ
ンデックス情報生成部４０１の内部構成を図示したもの
である。入力された符号化に関する予測モードフレーム
特徴量を入力として、シーンチェンジフレーム判定部５
０１でシーンチェンジフレームが判定される。本実施の
形態においては、符号化予測モードフレーム特徴量をし
きい値判定することによってシーンチェンジフレームを
決定する。しきい値の設定を変更したり、隣接するフレ
ームがシーンチェンジフレームと判定された場合の処理
を加えることにより、抽出されるシーンチェンジフレー
ムは変化する。
ンデックス情報生成部４０１の内部構成を図示したもの
である。入力された符号化に関する予測モードフレーム
特徴量を入力として、シーンチェンジフレーム判定部５
０１でシーンチェンジフレームが判定される。本実施の
形態においては、符号化予測モードフレーム特徴量をし
きい値判定することによってシーンチェンジフレームを
決定する。しきい値の設定を変更したり、隣接するフレ
ームがシーンチェンジフレームと判定された場合の処理
を加えることにより、抽出されるシーンチェンジフレー
ムは変化する。
【００３２】従来技術においては、シーンチェンジフレ
ームの抽出処理は画像検索処理とは独立であり、その判
定方式等は固定であった。本発明の実施の形態では、後
述する画像検索の過程で画像検索実行部４０２から出力
される新たな特徴フレームの抽出要求によって、シーン
チェンジ判定のしきい値あるいは判定処理を検索過程で
適応的に変更することにより、所望のシーンチェンジフ
レームを逐次抽出する構成を持つ。シーンチェンジフレ
ームインデックス生成部５０２は、判定部５０１で判定
されたシーンチェンジフレームの位置情報を、インデッ
クス情報として生成する。
ームの抽出処理は画像検索処理とは独立であり、その判
定方式等は固定であった。本発明の実施の形態では、後
述する画像検索の過程で画像検索実行部４０２から出力
される新たな特徴フレームの抽出要求によって、シーン
チェンジ判定のしきい値あるいは判定処理を検索過程で
適応的に変更することにより、所望のシーンチェンジフ
レームを逐次抽出する構成を持つ。シーンチェンジフレ
ームインデックス生成部５０２は、判定部５０１で判定
されたシーンチェンジフレームの位置情報を、インデッ
クス情報として生成する。
【００３３】動きベクトルフレーム特徴量を入力とし
て、動き特徴フレーム判定部５０３で動きの大小等に関
する特徴フレームが判定される。本実施の形態において
は、隣接する複数フレームの動きベクトルフレーム特徴
量に基づいてピーク位置判定を行うことにより、局所的
に激しい動きの見られるフレームを決定する。あるいは
しきい値以上の大きさを持つフレームを抽出するように
変更したり、または逆に極小位置にある動きの少ないフ
レームを動き特徴フレームとして抽出することも考えら
れる。
て、動き特徴フレーム判定部５０３で動きの大小等に関
する特徴フレームが判定される。本実施の形態において
は、隣接する複数フレームの動きベクトルフレーム特徴
量に基づいてピーク位置判定を行うことにより、局所的
に激しい動きの見られるフレームを決定する。あるいは
しきい値以上の大きさを持つフレームを抽出するように
変更したり、または逆に極小位置にある動きの少ないフ
レームを動き特徴フレームとして抽出することも考えら
れる。
【００３４】従来技術においては、動き特徴フレームの
抽出処理は画像検索処理とは独立であり、その判定方式
等は固定であった。本発明の実施の形態では、後述する
画像検索の過程で画像検索実行部４０２から出力される
新たな特徴フレームの抽出要求によって、いかなる動き
特徴に注目するかに関わる動き特徴フレームの判定方式
を検索過程で適応的に変更することにより、所望の動き
特徴フレームを逐次抽出する構成を持つ。動き特徴フレ
ームインデックス生成部５０４は、判定部５０３で判定
された動き特徴フレームの位置情報を、インデックス情
報として生成する。
抽出処理は画像検索処理とは独立であり、その判定方式
等は固定であった。本発明の実施の形態では、後述する
画像検索の過程で画像検索実行部４０２から出力される
新たな特徴フレームの抽出要求によって、いかなる動き
特徴に注目するかに関わる動き特徴フレームの判定方式
を検索過程で適応的に変更することにより、所望の動き
特徴フレームを逐次抽出する構成を持つ。動き特徴フレ
ームインデックス生成部５０４は、判定部５０３で判定
された動き特徴フレームの位置情報を、インデックス情
報として生成する。
【００３５】このようにして得られたシーンチェンジフ
レームインデックス情報並びに動き特徴フレームインデ
ックス情報が、インデックス情報生成部４０１から出力
され、画像検索実行部４０２に入力される。
レームインデックス情報並びに動き特徴フレームインデ
ックス情報が、インデックス情報生成部４０１から出力
され、画像検索実行部４０２に入力される。
【００３６】画像検索実行部４０２は、入力された特徴
フレームインデックス情報と符号化画像データに基づい
て画像検索を実行する。特徴フレームインデックス情報
から特徴フレームの位置情報を得、対応するフレームが
符号化画像データを用いて復号される。検索者は、一覧
表示あるいは順に表示される各特徴フレームを見ること
で動画像の内容を知り、所望の画像を探すことで検索を
実行する。この時、インデックス情報として与えられる
特徴フレームが実行中の画像検索に対して不適である、
あるいは不足であると判断された場合に、画像検索実行
部４０２からインデックス情報生成部４０１に向けて新
たな特徴フレームを抽出する要求が出される。インデッ
クス情報生成部４０１は、画像検索実行部４０２から出
される新たな特徴フレーム抽出要求を受けて、各特徴フ
レーム判定部５０１、５０３内の特徴フレームの判定方
式を変更し、所望の特徴フレームを決定し、その特徴フ
レームの位置情報をインデックス情報として出力する。
出力されたインデックス情報は、画像検索実行部５０２
に入力され、新たに画像検索が実行される。
フレームインデックス情報と符号化画像データに基づい
て画像検索を実行する。特徴フレームインデックス情報
から特徴フレームの位置情報を得、対応するフレームが
符号化画像データを用いて復号される。検索者は、一覧
表示あるいは順に表示される各特徴フレームを見ること
で動画像の内容を知り、所望の画像を探すことで検索を
実行する。この時、インデックス情報として与えられる
特徴フレームが実行中の画像検索に対して不適である、
あるいは不足であると判断された場合に、画像検索実行
部４０２からインデックス情報生成部４０１に向けて新
たな特徴フレームを抽出する要求が出される。インデッ
クス情報生成部４０１は、画像検索実行部４０２から出
される新たな特徴フレーム抽出要求を受けて、各特徴フ
レーム判定部５０１、５０３内の特徴フレームの判定方
式を変更し、所望の特徴フレームを決定し、その特徴フ
レームの位置情報をインデックス情報として出力する。
出力されたインデックス情報は、画像検索実行部５０２
に入力され、新たに画像検索が実行される。
【００３７】本第一の実施の形態による利点は以下のよ
うなものである。前記、インデックス情報生成部４０１
の説明で述べたように、シーンチェンジフレームや動き
に関する特徴フレーム等の動画像に対する特徴フレーム
は、その判定の仕方により抽出されるフレームが異な
り、また、そのフレームが持つ物理的な意味合いも異な
る場合がある。例えば、激しい動きのあるフレームと動
きの小さいフレームは全く別の特徴を有するフレームで
ある。
うなものである。前記、インデックス情報生成部４０１
の説明で述べたように、シーンチェンジフレームや動き
に関する特徴フレーム等の動画像に対する特徴フレーム
は、その判定の仕方により抽出されるフレームが異な
り、また、そのフレームが持つ物理的な意味合いも異な
る場合がある。例えば、激しい動きのあるフレームと動
きの小さいフレームは全く別の特徴を有するフレームで
ある。
【００３８】一方、動画像検索を実施した際、その動画
像の特徴フレームとして、激しい動きのあるフレームを
表示するのが適切であるか、動きの小さいフレームを表
示するのが適切であるか、あるいはもっと別の動きに関
する特徴を持つフレームが適切であるかは、検索対象の
動画像に依存するものであり、検索の過程で適応的に切
替えたい要求が生じることが考えられる。このような状
況に対して、本発明の第一の実施の形態は、フレーム特
徴量の形式で画像検索情報を記録することにより、検索
過程での特徴フレーム切替え要求に即座に応答すること
ができる。
像の特徴フレームとして、激しい動きのあるフレームを
表示するのが適切であるか、動きの小さいフレームを表
示するのが適切であるか、あるいはもっと別の動きに関
する特徴を持つフレームが適切であるかは、検索対象の
動画像に依存するものであり、検索の過程で適応的に切
替えたい要求が生じることが考えられる。このような状
況に対して、本発明の第一の実施の形態は、フレーム特
徴量の形式で画像検索情報を記録することにより、検索
過程での特徴フレーム切替え要求に即座に応答すること
ができる。
【００３９】あるいは、図６に示すように、図１の画像
検索情報記録装置に、特徴フレームのインデックス情報
を生成するインデックス情報生成部４０１及びインデッ
クス情報を記録するインデックス情報記録部６０１を追
加することで、（あらかじめ決められた）特徴フレーム
のインデックス情報をフレーム特徴量と共に別途記録し
ておくこともできる。フレーム特徴量、特徴フレームイ
ンデックス情報の両方を記録する場合では、検索過程で
の特徴フレームの切替え要求に対してはフレーム特徴量
を用いることにより即座に応答でき、かつ切替え要求が
ないような検索では固定のインデックス情報によって高
速に検索を実行することもできる。
検索情報記録装置に、特徴フレームのインデックス情報
を生成するインデックス情報生成部４０１及びインデッ
クス情報を記録するインデックス情報記録部６０１を追
加することで、（あらかじめ決められた）特徴フレーム
のインデックス情報をフレーム特徴量と共に別途記録し
ておくこともできる。フレーム特徴量、特徴フレームイ
ンデックス情報の両方を記録する場合では、検索過程で
の特徴フレームの切替え要求に対してはフレーム特徴量
を用いることにより即座に応答でき、かつ切替え要求が
ないような検索では固定のインデックス情報によって高
速に検索を実行することもできる。
【００４０】図６の画像検索情報記録装置に対応する画
像検索装置の構成を図７に示す。図７の画像検索装置で
は、記録されたインデックス情報と、インデックス情報
生成部４０１から出力されるインデックス情報のいずれ
も画像検索実行部４０２に入力され、画像検索に利用さ
れる。
像検索装置の構成を図７に示す。図７の画像検索装置で
は、記録されたインデックス情報と、インデックス情報
生成部４０１から出力されるインデックス情報のいずれ
も画像検索実行部４０２に入力され、画像検索に利用さ
れる。
【００４１】また、本実施の形態では画像検索情報記録
装置と画像検索装置とを別個のものとし、これらの間で
はインデックス情報、フレーム特徴量を記録し渡すこと
としているが、画像検索情報記録装置で生成されるそれ
らの情報を直接画像検索装置に渡し、オンラインで検索
を実行することも可能である。
装置と画像検索装置とを別個のものとし、これらの間で
はインデックス情報、フレーム特徴量を記録し渡すこと
としているが、画像検索情報記録装置で生成されるそれ
らの情報を直接画像検索装置に渡し、オンラインで検索
を実行することも可能である。
【００４２】図８乃至図１１に本発明の画像検索情報記
録装置及び画像検索装置の第二の実施の形態を示す。図
８は、本発明の画像検索情報記録装置の第二の実施の形
態を表す構成図である。上記第一の実施の形態が各フレ
ーム毎のフレーム特徴量を記録するものであるのに対
し、本第二の実施の形態では、符号化情報読出部１０１
で読み出された特徴フレーム抽出の基となる符号化情報
を、符号化情報記録部８０１で所定の記録場所に記録す
る。こうしておけば、画像検索において特徴フレームを
抽出する際に所定場所の符号化情報を読み出すだけでよ
いため、元の符号化画像データを逐次読み込むのに比べ
て効率が上がる。符号化情報の記録場所は、各フレーム
毎の符号化画像データと対応させた位置、例えば各フレ
ーム毎の符号化画像データのヘッダ情報として記録して
もよいし、画像検索用の別データとして、符号化画像デ
ータと独立させて記録してもよい。
録装置及び画像検索装置の第二の実施の形態を示す。図
８は、本発明の画像検索情報記録装置の第二の実施の形
態を表す構成図である。上記第一の実施の形態が各フレ
ーム毎のフレーム特徴量を記録するものであるのに対
し、本第二の実施の形態では、符号化情報読出部１０１
で読み出された特徴フレーム抽出の基となる符号化情報
を、符号化情報記録部８０１で所定の記録場所に記録す
る。こうしておけば、画像検索において特徴フレームを
抽出する際に所定場所の符号化情報を読み出すだけでよ
いため、元の符号化画像データを逐次読み込むのに比べ
て効率が上がる。符号化情報の記録場所は、各フレーム
毎の符号化画像データと対応させた位置、例えば各フレ
ーム毎の符号化画像データのヘッダ情報として記録して
もよいし、画像検索用の別データとして、符号化画像デ
ータと独立させて記録してもよい。
【００４３】図９は、本発明の画像検索装置の第二の実
施の形態を表す構成図である。上記第一の実施の形態に
おける画像検索装置では、記録されたフレーム特徴量が
インデックス情報生成部４０１に入力されたのに対し、
本第二の実施の形態では、入力された符号化情報から各
フレームに対するフレーム特徴量を生成するフレーム特
徴量生成部１０２が追加され、フレーム特徴量生成部１
０２で生成されたフレーム特徴量がインデックス情報生
成部４０１に入力される。フレーム特徴量生成部１０
２、インデックス情報生成部４０１、画像検索情報実行
部４０２の動作は第一の実施の形態と同一であるため、
省略する。
施の形態を表す構成図である。上記第一の実施の形態に
おける画像検索装置では、記録されたフレーム特徴量が
インデックス情報生成部４０１に入力されたのに対し、
本第二の実施の形態では、入力された符号化情報から各
フレームに対するフレーム特徴量を生成するフレーム特
徴量生成部１０２が追加され、フレーム特徴量生成部１
０２で生成されたフレーム特徴量がインデックス情報生
成部４０１に入力される。フレーム特徴量生成部１０
２、インデックス情報生成部４０１、画像検索情報実行
部４０２の動作は第一の実施の形態と同一であるため、
省略する。
【００４４】本第二の実施の形態では、元の符号化画像
データから特徴フレーム抽出に必要な符号化情報だけを
抜き出して記録するといった単純な構成で画像検索情報
記録装置が実現される。また、符号化情報の形式で記録
するため、検索の過程でフレーム特徴量に基づく特徴フ
レームの判定方式を変更するだけでなく、特徴フレーム
を抽出するためのフレーム特徴量の算出方式自体を変更
することも可能であり、より柔軟な画像検索を行うこと
ができる。
データから特徴フレーム抽出に必要な符号化情報だけを
抜き出して記録するといった単純な構成で画像検索情報
記録装置が実現される。また、符号化情報の形式で記録
するため、検索の過程でフレーム特徴量に基づく特徴フ
レームの判定方式を変更するだけでなく、特徴フレーム
を抽出するためのフレーム特徴量の算出方式自体を変更
することも可能であり、より柔軟な画像検索を行うこと
ができる。
【００４５】第一の実施の形態と同様に、図８の画像検
索情報記録装置に、各フレーム毎のフレーム特徴量を生
成するフレーム特徴量生成部１０２、特徴フレームのイ
ンデックス情報を生成するインデックス情報生成部４０
１及びインデックス情報を記録するインデックス情報記
録部６０１を追加することで（あらかじめ決められ
た）、特徴フレームのインデックス情報を特徴フレーム
抽出に必要な符号化情報と共に別途記録しておくことも
できる。
索情報記録装置に、各フレーム毎のフレーム特徴量を生
成するフレーム特徴量生成部１０２、特徴フレームのイ
ンデックス情報を生成するインデックス情報生成部４０
１及びインデックス情報を記録するインデックス情報記
録部６０１を追加することで（あらかじめ決められ
た）、特徴フレームのインデックス情報を特徴フレーム
抽出に必要な符号化情報と共に別途記録しておくことも
できる。
【００４６】この画像検索情報記録装置の構成図を図１
０に示す。符号化情報、特徴フレームインデックス情報
の両方を記録する場合では、検索過程での特徴フレーム
の切替え要求に対しては符号化情報に基づいてフレーム
特徴量を得ることにより応答でき、かつ切替え要求がな
いような検索では固定のインデックス情報によって高速
に検索を実行することもできる。
０に示す。符号化情報、特徴フレームインデックス情報
の両方を記録する場合では、検索過程での特徴フレーム
の切替え要求に対しては符号化情報に基づいてフレーム
特徴量を得ることにより応答でき、かつ切替え要求がな
いような検索では固定のインデックス情報によって高速
に検索を実行することもできる。
【００４７】図１０の画像検索情報記録装置に対応する
画像検索装置の構成を図１１に示す。図１１の画像検索
装置では、記録されたインデックス情報と、インデック
ス情報生成部４０１から出力されるインデックス情報の
いずれも画像検索実行部４０２に入力され、画像検索に
利用される。
画像検索装置の構成を図１１に示す。図１１の画像検索
装置では、記録されたインデックス情報と、インデック
ス情報生成部４０１から出力されるインデックス情報の
いずれも画像検索実行部４０２に入力され、画像検索に
利用される。
【００４８】更に、上記第一の実施の形態及び第二の実
施の形態ではそれぞれ、各フレームに対するフレーム特
徴量、特徴フレーム抽出に必要な符号化情報を各々記録
するとしたが、これらは相反するものではなく、フレー
ム特徴量と特徴フレーム抽出に必要な符号化情報を共に
記録してもよい。また、インデックス情報、フレーム特
徴量、特徴フレーム抽出に必要な符号化情報を全て記録
し、画像検索時に利用することも可能である。
施の形態ではそれぞれ、各フレームに対するフレーム特
徴量、特徴フレーム抽出に必要な符号化情報を各々記録
するとしたが、これらは相反するものではなく、フレー
ム特徴量と特徴フレーム抽出に必要な符号化情報を共に
記録してもよい。また、インデックス情報、フレーム特
徴量、特徴フレーム抽出に必要な符号化情報を全て記録
し、画像検索時に利用することも可能である。
【００４９】図１２および図１３に本発明の画像検索情
報記録装置の第三の実施の形態を示す。図１２は、本発
明の画像検索情報記録装置の第三の実施の形態を表す構
成図である。本第三の実施の形態は、インデックス情
報、フレーム特徴量、特徴フレーム抽出に必要な符号化
情報のうち、どの情報を画像検索情報として記録するか
を選択する記録情報選択部１２０１を持つことを特徴と
する。但し、記録情報選択部１２０１で選択される画像
検索情報はいずれか一つとは限らず、状況に応じてイン
デックス情報、フレーム特徴量、特徴フレーム抽出に必
要な符号化情報のうちの二つ、あるいは全てを記録する
といった選択も可能とする。
報記録装置の第三の実施の形態を示す。図１２は、本発
明の画像検索情報記録装置の第三の実施の形態を表す構
成図である。本第三の実施の形態は、インデックス情
報、フレーム特徴量、特徴フレーム抽出に必要な符号化
情報のうち、どの情報を画像検索情報として記録するか
を選択する記録情報選択部１２０１を持つことを特徴と
する。但し、記録情報選択部１２０１で選択される画像
検索情報はいずれか一つとは限らず、状況に応じてイン
デックス情報、フレーム特徴量、特徴フレーム抽出に必
要な符号化情報のうちの二つ、あるいは全てを記録する
といった選択も可能とする。
【００５０】前記、第一の実施の形態で、シーンチェン
ジフレームや動きに関する特徴フレーム等の動画像に対
する特徴フレームは、その判定の仕方により抽出される
フレームが異なり、また、そのフレームが持つ物理的な
意味合いも異なる場合があることを述べた。例えば、激
しい動きのあるフレームと動きの小さいフレームは全く
別の特徴を有するフレームである。動画像検索を実施し
た際、その動画像の特徴フレームとして、激しい動きの
あるフレームを表示するのが適切であるか、動きの小さ
いフレームを表示するのが適切であるか、あるいはもっ
と別の動きに関する特徴を持つフレームが適切であるか
は、検索対象の動画像に依存するものであり、検索の過
程で適応的に切替えたい要求が生じることが考えられ
る。このような状況では、記録情報選択部１２０１にお
いてフレーム特徴量の形式あるいは符号化情報の形式で
画像検索情報を記録することにより、検索過程での切替
え要求に即座に応答することができる。
ジフレームや動きに関する特徴フレーム等の動画像に対
する特徴フレームは、その判定の仕方により抽出される
フレームが異なり、また、そのフレームが持つ物理的な
意味合いも異なる場合があることを述べた。例えば、激
しい動きのあるフレームと動きの小さいフレームは全く
別の特徴を有するフレームである。動画像検索を実施し
た際、その動画像の特徴フレームとして、激しい動きの
あるフレームを表示するのが適切であるか、動きの小さ
いフレームを表示するのが適切であるか、あるいはもっ
と別の動きに関する特徴を持つフレームが適切であるか
は、検索対象の動画像に依存するものであり、検索の過
程で適応的に切替えたい要求が生じることが考えられ
る。このような状況では、記録情報選択部１２０１にお
いてフレーム特徴量の形式あるいは符号化情報の形式で
画像検索情報を記録することにより、検索過程での切替
え要求に即座に応答することができる。
【００５１】あるいは、あらかじめ検索対象である動画
像に対して何らかの知識が得られ、適した特徴フレーム
が判っている場合には、記録情報選択部１２０１におい
て特徴フレームのインデックス情報の形式で画像検索情
報を記録することにより、画像検索情報量を削減し、高
速に検索を実行することができる。また、記録情報選択
部１２０１においてフレーム特徴量あるいは符号化情報
と特徴フレームのインデックス情報とを共に記録する場
合では、検索過程での切替え要求に即座に応答でき、か
つ高速に検索を実行することができる。
像に対して何らかの知識が得られ、適した特徴フレーム
が判っている場合には、記録情報選択部１２０１におい
て特徴フレームのインデックス情報の形式で画像検索情
報を記録することにより、画像検索情報量を削減し、高
速に検索を実行することができる。また、記録情報選択
部１２０１においてフレーム特徴量あるいは符号化情報
と特徴フレームのインデックス情報とを共に記録する場
合では、検索過程での切替え要求に即座に応答でき、か
つ高速に検索を実行することができる。
【００５２】図１３に、本発明の画像検索装置の第三の
実施の形態を示す。前記画像検索情報装置で記録された
インデックス情報、フレーム特徴量、あるいは特徴フレ
ーム抽出に必要な符号化情報が、適宜画像検索装置に入
力される。
実施の形態を示す。前記画像検索情報装置で記録された
インデックス情報、フレーム特徴量、あるいは特徴フレ
ーム抽出に必要な符号化情報が、適宜画像検索装置に入
力される。
【００５３】インデックス情報があれば、インデックス
情報から特徴フレーム位置を得、入力された符号化画像
データを復号し、表示することで、画像検索が実行され
る。画像検索の過程で、新たな特徴フレームが必要とさ
れた場合、フレーム特徴量があれば、フレーム特徴量か
ら新たな特徴フレームを抽出し、インデックス情報を生
成して画像検索に用いる。
情報から特徴フレーム位置を得、入力された符号化画像
データを復号し、表示することで、画像検索が実行され
る。画像検索の過程で、新たな特徴フレームが必要とさ
れた場合、フレーム特徴量があれば、フレーム特徴量か
ら新たな特徴フレームを抽出し、インデックス情報を生
成して画像検索に用いる。
【００５４】さらに、フレーム特徴量が不適であると判
断された場合には、符号化情報があれば、符号化情報か
ら新たなフレーム特徴量を生成し、生成された新たなフ
レーム特徴量から新たな特徴フレームを抽出し、インデ
ックス情報を生成して画像検索に用いる。
断された場合には、符号化情報があれば、符号化情報か
ら新たなフレーム特徴量を生成し、生成された新たなフ
レーム特徴量から新たな特徴フレームを抽出し、インデ
ックス情報を生成して画像検索に用いる。
【００５５】フレーム特徴量、符号化情報を共に記憶し
ておく利点は、このような自由度の高い画像検索を行え
る点にある。
ておく利点は、このような自由度の高い画像検索を行え
る点にある。
【００５６】符号化情報があり、入力されるフレーム特
徴量がない場合では、新たな特徴フレームの抽出要求は
直接フレーム特徴量生成部１０２に向けて出される。
徴量がない場合では、新たな特徴フレームの抽出要求は
直接フレーム特徴量生成部１０２に向けて出される。
【００５７】このように、本発明の画像検索情報記録装
置の第三の実施の形態では、検索を行う対象画像の性質
によって記録情報選択部１２０１において記録する情報
を選択することで、適切な画像検索情報を記録すること
ができ、また画像検索装置では、適応的に画像検索を実
行することができる。また、検索実行時の実行速度や記
録容量の制限等によって記録情報選択部１２０１におけ
る記録情報を選択することもできる。
置の第三の実施の形態では、検索を行う対象画像の性質
によって記録情報選択部１２０１において記録する情報
を選択することで、適切な画像検索情報を記録すること
ができ、また画像検索装置では、適応的に画像検索を実
行することができる。また、検索実行時の実行速度や記
録容量の制限等によって記録情報選択部１２０１におけ
る記録情報を選択することもできる。
【００５８】これら画像検索情報は、インデックス情
報、フレーム特徴量、符号化情報の順に容量が大きくな
る。例えば、画像検索情報を記録する記録容量が小さい
場合には、容量の小さいインデックス情報のみを記録す
る。記録容量は十分大きく、かつ検索実行速度が遅いよ
うな端末では、すべての情報を記録し検索の自由度を確
保した上で、インデックス情報を極力活用することで実
行速度を低下させないようにする。
報、フレーム特徴量、符号化情報の順に容量が大きくな
る。例えば、画像検索情報を記録する記録容量が小さい
場合には、容量の小さいインデックス情報のみを記録す
る。記録容量は十分大きく、かつ検索実行速度が遅いよ
うな端末では、すべての情報を記録し検索の自由度を確
保した上で、インデックス情報を極力活用することで実
行速度を低下させないようにする。
【００５９】また、記録する画像検索情報をインデック
ス情報、フレーム特徴量、特徴フレーム抽出に必要な符
号化情報のうちの二つに限定し、記録情報選択部１２０
１において記録情報を選択することも可能である。
ス情報、フレーム特徴量、特徴フレーム抽出に必要な符
号化情報のうちの二つに限定し、記録情報選択部１２０
１において記録情報を選択することも可能である。
【００６０】
【発明の効果】本願請求項１に記載の発明に係る画像検
索情報記録装置は、上述したような構成によって、特徴
フレーム抽出に必要な符号化情報あるいは各フレーム毎
のフレーム特徴量を記録できることにより、検索過程で
の特徴フレームの切替え要求に即座に応答することがで
きる。
索情報記録装置は、上述したような構成によって、特徴
フレーム抽出に必要な符号化情報あるいは各フレーム毎
のフレーム特徴量を記録できることにより、検索過程で
の特徴フレームの切替え要求に即座に応答することがで
きる。
【００６１】本願請求項２に記載の発明に係る画像検索
情報記録装置は、上述したような構成によって、特徴フ
レーム抽出に必要な符号化情報を記録することにより、
記録側の構成を簡略化できること、また記録媒体の使用
容量を削減することができる。
情報記録装置は、上述したような構成によって、特徴フ
レーム抽出に必要な符号化情報を記録することにより、
記録側の構成を簡略化できること、また記録媒体の使用
容量を削減することができる。
【００６２】本願請求項３に記載の発明に係る画像検索
情報記録装置は、上述したような構成によって、特徴フ
レーム抽出に必要なフレーム特徴量を記録できることに
より、様々な検索要求に対して、高速に検索処理を行う
ことができる。
情報記録装置は、上述したような構成によって、特徴フ
レーム抽出に必要なフレーム特徴量を記録できることに
より、様々な検索要求に対して、高速に検索処理を行う
ことができる。
【００６３】本願請求項４に記載の発明に係る画像検索
装置は、上述したような構成によって、入力された符号
化情報あるいはフレーム特徴量と、画像検索の実行過程
で発せられる特徴フレームの抽出要求に応じて新たな特
徴フレームを抽出することにより、適応的に画像検索を
実行することができるとともに、フレーム特徴量により
高速に検索処理を行うことができる。
装置は、上述したような構成によって、入力された符号
化情報あるいはフレーム特徴量と、画像検索の実行過程
で発せられる特徴フレームの抽出要求に応じて新たな特
徴フレームを抽出することにより、適応的に画像検索を
実行することができるとともに、フレーム特徴量により
高速に検索処理を行うことができる。
【００６４】本願請求項５に記載の発明に係る画像検索
装置は、上述したような構成によって、入力された符号
化情報に基づいてフレーム特徴量を生成するために、新
たな検索要求があった場合、検索の過程で特徴フレーム
を抽出するためのフレーム特徴量の算出方式自体を変更
することにより、柔軟な画像検索を行うことができる。
装置は、上述したような構成によって、入力された符号
化情報に基づいてフレーム特徴量を生成するために、新
たな検索要求があった場合、検索の過程で特徴フレーム
を抽出するためのフレーム特徴量の算出方式自体を変更
することにより、柔軟な画像検索を行うことができる。
【００６５】本願請求項６に記載の発明に係る画像検索
装置は、上述したような構成によって、入力されたフレ
ーム特徴量に基づいて、特徴フレームの抽出を行うため
に、高速に検索処理を行うことができるとともに、記録
媒体の使用容量を削減することができる。
装置は、上述したような構成によって、入力されたフレ
ーム特徴量に基づいて、特徴フレームの抽出を行うため
に、高速に検索処理を行うことができるとともに、記録
媒体の使用容量を削減することができる。
【図１】本発明の画像検索情報記録装置の第一の実施の
形態を表す図である。
形態を表す図である。
【図２】本発明の画像検索情報記録装置の第一の実施の
形態でフレーム特徴量生成部の内部構成を表す図であ
る。
形態でフレーム特徴量生成部の内部構成を表す図であ
る。
【図３】予測符号化方式のフレームの参照関係を表す図
である。
である。
【図４】本発明の画像検索装置の第一の実施の形態を表
す図である。
す図である。
【図５】本発明の画像検索装置の第一の実施の形態でイ
ンデックス情報生成部の内部構成を表す図である。
ンデックス情報生成部の内部構成を表す図である。
【図６】本発明の画像検索情報記録装置の第一の実施の
形態を表す図である。
形態を表す図である。
【図７】本発明の画像検索装置の第一の実施の形態を表
す図である。
す図である。
【図８】本発明の画像検索情報記録装置の第二の実施の
形態を表す図である。
形態を表す図である。
【図９】本発明の画像検索装置の第二の実施の形態を表
す図である。
す図である。
【図１０】本発明の画像検索情報記録装置の第二の実施
の形態を表す図である。
の形態を表す図である。
【図１１】本発明の画像検索装置の第二の実施の形態を
表す図である。
表す図である。
【図１２】本発明の画像検索情報記録装置の第三の実施
の形態を表す図である。
の形態を表す図である。
【図１３】本発明の画像検索装置の第三の実施の形態を
表す図である。
表す図である。
【図１４】従来技術の画像検索情報記録装置を表す図で
ある。
ある。
【図１５】従来技術の画像検索装置を表す図である。
１０１、１４０１ 符号化情報読出部 １０２、１４０２ フレーム特徴量生成部 １０３ フレーム特徴量記録部 ２０１ 予測モード計数部 ２０２ 頻度情報変換部 ２０３ 有効動きベクトル検出部 ２０４ 動きベクトル統計量計算部 ２０５ 統計量情報変換部 ４０１、１４０３ インデックス情報生成部 ４０２、１５０１ 画像検索実行部 ５０１ シーンチェンジフレーム判定部 ５０２ シーンチェンジフレームインデックス生成部 ５０３ 動き特徴フレーム判定部 ５０４ 動き特徴フレームインデックス生成部 ６０１、１４０４ インデックス情報記録部 ８０１ 符号化情報記録部 １２０１ 記録情報選択部
Claims (6)
- 【請求項１】 符号化された画像データからフレームの
特徴を表す情報となる所定の符号化情報を読み出す符号
化情報読出部と、 該符号化情報に基づいて、フレームの特徴を数値化した
フレーム特徴量を求めるフレーム特徴量生成部と、 前記符号化された画像データの各フレームに対応させ
て、前記符号化情報及びフレーム特徴量を記録させる記
録部を備えることを特徴とする画像検索情報記録装置。 - 【請求項２】 符号化された画像データからフレームの
特徴を表す情報となる所定の符号化情報を読み出す符号
化情報読出部と、 前記符号化された画像データの各フレームに対応させ
て、前記符号化情報を記録させる記録部を備えることを
特徴とする画像検索情報記録装置。 - 【請求項３】 符号化された画像データからフレームの
特徴を表す情報となる所定の符号化情報を読み出す符号
化情報読出部と、 該符号化情報に基づいて、フレームの特徴を数値化した
フレーム特徴量を求めるフレーム特徴量生成部と、 前記符号化された画像データの各フレームに対応させ
て、前記フレーム特徴量を記録させる記録部を備えるこ
とを特徴とする画像検索情報記録装置。 - 【請求項４】 符号化された画像データ及び、該画像デ
ータの各フレームに対応させて記憶されているフレーム
の特徴を表す情報となる所定の符号化情報及び、該符号
化情報に基づいてフレームの特徴を数値化したフレーム
特徴量を入力する入力部と、 該符号化情報に基づいて、フレームの特徴を数値化した
フレーム特徴量を求めるフレーム特徴量生成部と、 前記入力部あるいはフレーム特徴量生成部からのフレー
ム特徴量に基づいて、前記画像データ中の特徴フレーム
を決定し、該特徴フレームの位置情報であるインデック
ス情報を生成するインデックス情報生成部と、 該インデックス情報に基づいて、インデックス画像を出
力する出力部とを備えることを特徴とする画像検索装
置。 - 【請求項５】 符号化された画像データ及び、該画像デ
ータの各フレームに対応させて記憶されているフレーム
の特徴を表す情報となる所定の符号化情報を入力する入
力部と、 該符号化情報に基づいて、フレームの特徴を数値化した
フレーム特徴量を求めるフレーム特徴量生成部と、 前記フレーム特徴量生成部からのフレーム特徴量に基づ
いて、前記画像データ中の特徴フレームを決定し、該特
徴フレームの位置情報であるインデックス情報を生成す
るインデックス情報生成部と、 該インデックス情報に基づいて、インデックス画像を出
力する出力部とを備えることを特徴とする画像検索装
置。 - 【請求項６】 符号化された画像データ及び、該画像デ
ータの各フレームに対応させて記憶されているフレーム
の特徴を数値化したフレーム特徴量を入力する入力部
と、 該フレーム特徴量に基づいて、前記画像データ中の特徴
フレームを決定し、該特徴フレームの位置情報であるイ
ンデックス情報を生成するインデックス情報生成部と、 該インデックス情報に基づいて、インデックス画像を出
力する出力部とを備えることを特徴とする画像検索装
置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33865898A JP4656680B2 (ja) | 1998-11-30 | 1998-11-30 | 画像検索情報記録装置及び画像検索装置 |
| EP99309322A EP1006464A3 (en) | 1998-11-30 | 1999-11-23 | Image retrieving apparatus performing retrieval based on coding information utilized for featured frame extraction or feature values of frames |
| US09/451,097 US7643554B2 (en) | 1998-11-30 | 1999-11-30 | Image retrieving apparatus performing retrieval based on coding information utilized for feature frame extraction or feature values of frames |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33865898A JP4656680B2 (ja) | 1998-11-30 | 1998-11-30 | 画像検索情報記録装置及び画像検索装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000163438A true JP2000163438A (ja) | 2000-06-16 |
| JP2000163438A5 JP2000163438A5 (ja) | 2005-08-04 |
| JP4656680B2 JP4656680B2 (ja) | 2011-03-23 |
Family
ID=18320254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33865898A Expired - Fee Related JP4656680B2 (ja) | 1998-11-30 | 1998-11-30 | 画像検索情報記録装置及び画像検索装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7643554B2 (ja) |
| EP (1) | EP1006464A3 (ja) |
| JP (1) | JP4656680B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001061448A1 (en) | 2000-02-18 | 2001-08-23 | The University Of Maryland | Methods for the electronic annotation, retrieval, and use of electronic images |
| JP3756748B2 (ja) * | 2000-09-29 | 2006-03-15 | 株式会社東芝 | 画像送信装置および画像伝送方法 |
| KR100619007B1 (ko) * | 2003-06-24 | 2006-08-31 | 삼성전자주식회사 | 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법 |
| JP4145746B2 (ja) * | 2003-07-17 | 2008-09-03 | シャープ株式会社 | 情報出力装置、情報出力方法、情報出力プログラム、および該プログラムを記録した記録媒体 |
| FR2898139B1 (fr) * | 2006-03-06 | 2008-05-30 | Nanoledge Sa | Procede de fabrication de produits extrudes composites polymeres et nanotubes de carbone |
| KR100819404B1 (ko) * | 2006-10-27 | 2008-04-04 | 삼성전자주식회사 | 휴대용 단말기에서 부화면 디코딩 방법 및 장치 |
| JP5583992B2 (ja) * | 2010-03-09 | 2014-09-03 | パナソニック株式会社 | 信号処理装置 |
| CN110139109B (zh) * | 2018-02-08 | 2023-01-10 | 北京三星通信技术研究有限公司 | 图像的编码方法及相应终端 |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06101018B2 (ja) * | 1991-08-29 | 1994-12-12 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 動画像データベースの検索 |
| SE469412B (sv) * | 1992-04-13 | 1993-06-28 | Dv Sweden Ab | Saett att adaptivt estimera icke oenskade globala bildinstabiliteter i bildsekvenser i digitala videosignaler |
| JP3286360B2 (ja) | 1992-11-26 | 2002-05-27 | 松下電器産業株式会社 | 動画像ダイジェスト自動表示装置 |
| KR100215586B1 (ko) | 1992-11-09 | 1999-08-16 | 모리시타 요이찌 | 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 |
| JPH06149902A (ja) | 1992-11-09 | 1994-05-31 | Matsushita Electric Ind Co Ltd | 動画像記録媒体、動画像記録装置、及び動画像再生装置 |
| KR950002458A (ko) * | 1993-06-02 | 1995-01-04 | 이헌조 | 영상신호의 압축/신장 장치 |
| JP3340532B2 (ja) * | 1993-10-20 | 2002-11-05 | 株式会社日立製作所 | ビデオの検索方法および装置 |
| US5473379A (en) * | 1993-11-04 | 1995-12-05 | At&T Corp. | Method and apparatus for improving motion compensation in digital video coding |
| JP3561942B2 (ja) | 1994-02-24 | 2004-09-08 | 松下電器産業株式会社 | ショット検出方法および代表画像記録・表示装置 |
| US5809201A (en) * | 1994-06-24 | 1998-09-15 | Mitsubishi Denki Kabushiki Kaisha | Specially formatted optical disk and method of playback |
| KR0181034B1 (ko) * | 1995-03-18 | 1999-05-01 | 배순훈 | 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치 |
| KR0178230B1 (ko) * | 1995-08-08 | 1999-05-01 | 배순훈 | 특징점에 의한 움직임 추정을 이용한 영상 처리 장치 |
| JPH0974566A (ja) * | 1995-09-04 | 1997-03-18 | Sony Corp | 圧縮符号化装置及び圧縮符号化データの記録装置 |
| EP0880286B1 (en) * | 1996-02-07 | 2005-04-13 | Sharp Kabushiki Kaisha | Moving image encoding and decoding device |
| JPH09261648A (ja) * | 1996-03-21 | 1997-10-03 | Fujitsu Ltd | シーンチェンジ検出装置 |
| JPH09284702A (ja) | 1996-04-09 | 1997-10-31 | Oki Electric Ind Co Ltd | シーン変化フレーム検出方法および装置 |
| JPH1023421A (ja) | 1996-07-09 | 1998-01-23 | Toshiba Corp | 動画像処理方法 |
| JP2888288B2 (ja) * | 1996-10-03 | 1999-05-10 | 日本電気株式会社 | 画像符号化装置 |
| GB2319684B (en) * | 1996-11-26 | 2000-09-06 | Sony Uk Ltd | Scene change detection |
| JPH10224779A (ja) | 1997-02-10 | 1998-08-21 | Hitachi Ltd | 動画像のシーン変化検出方法及び装置 |
| JP3604864B2 (ja) * | 1997-04-25 | 2004-12-22 | シャープ株式会社 | 動画像符号化装置 |
| JP3780623B2 (ja) * | 1997-05-16 | 2006-05-31 | 株式会社日立製作所 | 動画像の記述方法 |
| JP3844844B2 (ja) * | 1997-06-06 | 2006-11-15 | 富士通株式会社 | 動画像符号化装置及び動画像符号化方法 |
| AUPO894497A0 (en) * | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
| US5990955A (en) * | 1997-10-03 | 1999-11-23 | Innovacom Inc. | Dual encoding/compression method and system for picture quality/data density enhancement |
| US6072542A (en) * | 1997-11-25 | 2000-06-06 | Fuji Xerox Co., Ltd. | Automatic video segmentation using hidden markov model |
| JP3738939B2 (ja) * | 1998-03-05 | 2006-01-25 | Ｋｄｄｉ株式会社 | 動画像のカット点検出装置 |
| US7046734B2 (en) * | 1998-04-02 | 2006-05-16 | Intel Corporation | Method and apparatus for performing real-time data encoding |
-
1998
- 1998-11-30 JP JP33865898A patent/JP4656680B2/ja not_active Expired - Fee Related
-
1999
- 1999-11-23 EP EP99309322A patent/EP1006464A3/en not_active Withdrawn
- 1999-11-30 US US09/451,097 patent/US7643554B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20030202585A1 (en) | 2003-10-30 |
| EP1006464A3 (en) | 2003-02-05 |
| US7643554B2 (en) | 2010-01-05 |
| JP4656680B2 (ja) | 2011-03-23 |
| EP1006464A2 (en) | 2000-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3939551B2 (ja) | 動画像処理装置、その方法、及び記録媒体 | |
| JP4666784B2 (ja) | ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置 | |
| US8014566B2 (en) | Image processing apparatus | |
| US6025886A (en) | Scene-change-point detecting method and moving-picture editing/displaying method | |
| JP4559935B2 (ja) | 画像記憶装置及び方法 | |
| KR20030056783A (ko) | 비디오 하이라이트 자동 생성 방법 및 장치 | |
| JPH06236439A (ja) | 動画像シーン検出装置 | |
| JP3451985B2 (ja) | 動画像類似度算出装置および方法 | |
| JP4520994B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| US8363726B2 (en) | Electronic apparatus, motion vector detecting method, and program therefor | |
| JPH10257436A (ja) | 動画像の自動階層構造化方法及びこれを用いたブラウジング方法 | |
| JP2000163438A (ja) | 画像検索情報記録装置及び画像検索装置 | |
| US6738425B2 (en) | Image or video data processing system | |
| JP4667356B2 (ja) | 映像表示装置及びその制御方法、プログラム、記録媒体 | |
| JP4620126B2 (ja) | 映像識別装置 | |
| KR100713501B1 (ko) | 이동통신단말기상에서 디지털 동영상을 인덱싱하는 방법 | |
| KR100676723B1 (ko) | 영상 재생 장치 | |
| KR20170090868A (ko) | 장면 전환 프레임 검출 장치 및 방법 | |
| JP3859989B2 (ja) | 画像マッチング方法およびその方法を利用可能な画像処理方法と装置 | |
| JPH11261946A (ja) | 映像表示方法および装置並びに該映像表示方法を記録した記録媒体 | |
| JP2000163438A5 (ja) | ||
| CN1984300A (zh) | 运动图像专家组编码信号的特技播放再现 | |
| JPH10112864A (ja) | カメラワーク算出方法及び装置 | |
| JP2002199345A (ja) | 動画像検索装置 | |
| JP2669354B2 (ja) | 代表動画像の生成および更新と動画像の符号化復号方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041228 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041228 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080416 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080821 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080930 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081125 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081208 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090109 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101221 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |