JPH0520366A - 動画像照合方法 - Google Patents

動画像照合方法

Info

Publication number
JPH0520366A
JPH0520366A JP3102786A JP10278691A JPH0520366A JP H0520366 A JPH0520366 A JP H0520366A JP 3102786 A JP3102786 A JP 3102786A JP 10278691 A JP10278691 A JP 10278691A JP H0520366 A JPH0520366 A JP H0520366A
Authority
JP
Japan
Prior art keywords
moving image
moving
frame
target object
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3102786A
Other languages
English (en)
Inventor
Tomoyuki Kiyosue
悌之 清末
Yuji Oba
有二 大庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP3102786A priority Critical patent/JPH0520366A/ja
Publication of JPH0520366A publication Critical patent/JPH0520366A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【目的】 動画像の集合から所望のシーを抽出する動画
像の照合方法において、言葉によるシーンの表現が困難
な場合、特に時間的な特徴量を用いて容易に検索する。 【構成】 1フレーム中の対象物体の情報(位置,画積)
の抽出を全フレームについて行ない(S1)〜(S4)、次に
時間的な特徴量(速度,軌跡,面積変化)の算出を行ない
(S5)、この算出結果をもとに動画像データベース中の
インデックス動画像との間で距離計算を行ない(S6)、
この計算で得られた距離の少ないインデックス動画像か
らいくつかを提示し(S7)、検索者の意図するシーンの
検出を行なう。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、動画像データベースか
らの検索時や、マルチメディア文書の編集時において素
材を集めるときなどに必要になる動画像検索方法に関
し、特に動画像を用いて動画像を検索するときの該動画
像照合方法に関する。
【0002】
【従来の技術】従来の動画像検索方法では、早送り、も
しくは巻き戻しスイッチを押しながら、人間の目視によ
って所望の場面に至ったと判断された際に、それらスイ
ッチを解除するという、人間の存在を前提とする方法し
か存在していなかった。
【0003】一方、対象とする画面にキーワードを付与
し、データベースとして管理する方法もある。
【0004】
【発明が解決しようとする課題】しかしながら、これら
の従来の技術において、前者による人間の存在を前提と
する方法は、目視によって動画像の所望の場面を検索す
るので、スイッチ操作が繁雑で労力を要し、即時性に欠
ける。
【0005】また後者による画面にキーワードを付与し
データベースとして管理する方法は、画像の解釈が人,
時間,環境によって様々であり、これを限られた言葉で
表現し管理することは無理があった。また、この方法は
静止画を対象にしたデータベース管理方法であり、動画
像を対象にしたものでも、表題程度がキーワードとなっ
ているだけである。
【0006】この動画像の内容、とくに時間的に特徴量
をキーワードとして付与することは、言葉としての表現
も微妙であり、インデクサ(キーワードを付与する者)の
労力も多大であり、かつサーチャ(キーワードを用いて
検索する者)もインデクサとの間の解釈のずれを強く意
識せねばならず、多大な労力を要するというと問題があ
った。
【0007】いずれにしても、時間的な特徴量を用いて
検索する方法は従来技術にはなかった。つまり、「同じ
くらいの早さ」の対象や、「同じような動き」をする移
動物体を自動的に検出する方法はなく、人間の目で探す
しかなかった。
【0008】本発明は、このような従来の問題点を解決
し、動画像の集合から所望のシーンを抽出してくる場合
に必要となる動画像の照合方法において、上記した、言
葉によるシーンの表現が困難な場合、特に時間的な特徴
量を用いて検索する場合の方法を提供することを目的と
するものである。
【0009】
【課題を解決するための手段】本発明は、複数の動画像
間の照合を行なう動画像照合方法において、動画像中の
フレーム毎に対象物体を切り出し、一連のフレーム中の
対象物体の位置情報をもとに算出される移動速度情報を
用いてキー動画像と照合するか、位置情報の連鎖からな
る移動軌跡情報を用いてキー動画像と照合するか、ある
いは、対象物体の画積情報をもとに算出される移動物体
の時間的形状情報を用いてキー動画像と照合を行なうこ
とを特徴とする。
【0010】
【作用】本発明によれば、検索者がまず所望とするシー
ンに近いシーンを提示し、これから自動的に算出される
時間的な特徴量を用い、予め時間的な特徴量を抽出済み
の動画像中から、移動速度情報,移動軌跡情報あるいは
時間的形状情報を用いてキー動作像と照合を行ない、類
似シーンを検索する。
【0011】このような検索照合により、検索者は正確
な表現が期されるキーワードを案出もしくは、選択する
必要がない。検索者は自分の解釈に基づいて、所望とす
るシーンに近いと思われるシーンを提示するだけでよ
く、経験によって培われるノウハウは不要となる。
【0012】
【実施例】図1は、本発明の一実施例に係る検索時に用
いられ動画像の模式図であり、図2は、本発明の検索手
順を示すフローチャートである。
【0013】図1の(1)は、検索時に検索者が、出力を
意図する画像として、動画像検索システムに入力する動
画像(以下、キー動画像と呼ぶ)である。(2),(3)及び
(4)は、通常の動画像データベースに格納されている各
動画像(以下、インデックス動画像と呼ぶ)である。
【0014】ここで、検索者は、キー動画像(1)に似た
動画像を要求しているとし、その検索画像を入力する
(S1)。図1中では、模式的に、動画像中の1フレーム
を1つの正方形で示している。(1)では3つの正方形(1)
−1,(1)−2及び(1)−3が示されているので、(1/3
0)×3=1/10秒の動画像となる。ここでは説明の便宜
上、短い動画像を与えたとする。実際に供与する動画像
検索システムでは、ある程度長い動画像をキー動画像
(1)として設定するほうが利用しやすいことは言うまで
もない。
【0015】キー動画像中からは、既存の画像処理技術
(例えば、フレーム間差分の方法を用いた移動領域の抽
出など)を用いて、対象物体を各フレーム毎に指定し抽
出する(S2)。
【0016】この対象物体の指定は、その対象物体の写
っている画像を入力することで行なう。
【0017】そして、全フレームについての抽出を行な
い(S3),(S4)抽出されたフレーム毎の対象物体の位置
情報から、フレーム枠に対する相対速度が算出される。
図1では、1/10秒に、x方向に1/3フレーム枠分、
y方向に1/3フレーム枠分、
【0018】
【外1】
【0019】一方、別の特徴量として、物体の軌跡y=
f(x)が算出される。図1の(1)の場合、y=xで与え
られる。
【0020】また、抽出されたフレーム毎の対象物体の
面積情報から、対象物体の形状の時間変化aが算出され
る。図1の(1)の場合、フレーム(1)−1からフレーム
(1)−2までの面積変化が、1/30秒あたり(2/3)−
1、またフレーム(1)−2からフレーム(1)−3までの面
積変化が、1/30秒あたり(1/3)−(2/3)、即ち、
aは平均して、
【0021】
【数1】
【0022】が時間あたりの面積変化率となる(S5)。
【0023】即ち、動画像データベースに格納されてい
る各々のインデックス画像(図1の(2),(3),(4))につ
いて、速度,軌跡,面積変化の各特徴量を予め(S5)で
算出しておく。
【0024】そしてステップ(S5)での特徴量算出でも
って、軌跡に関係する対象物体の移動距離は、その対象
物体の重心点の移動距離を用いることで、該対象物体が
剛体,非剛体であっても差が生じにくく距離計算ができ
る。
【0025】また、面積の算出は、領域分割してある領
域の画素数を測定する等の周知手段で行なう。
【0026】次に、特徴量(速度,軌跡,面積変化)算出
後、動画像データベース中のインデックス動画像(図1
の(2),(3),(4))との間で距離計算を行なう(S6)。
【0027】即ち、図1の(2)の場合、全体の時間は4
[フレーム]×(1/30)[秒/フレーム]=(2/15)
[秒]となる。
【0028】また、移動速度は、
【0029】
【数2】
【0030】となる。
【0031】また移動軌跡はy=x。面積変化は、各々
フレーム間で(2/3)−1,(1/3)−(2/3),(1
/6)−(1/3)であるから、これを平均して、
【0032】
【数3】
【0033】となる。
【0034】同様にして、図1の(3)では、全体の時間
(1/10)[秒]、速度(10/3)[フレーム枠/秒]、軌
跡x=0、面積変化−10[単位面積/秒]となる。図1
の(4)では、全体の時間(1/10)[秒]、速度5[フレ
ーム枠/秒]、軌跡y=0、面積変化0[単位面積/
秒]となる。
【0035】このとき、ある適当な距離関数Dを考え、
この値の少ないものを候補画像として検索者へ提示す
る。
【0036】上記の距離関数Dの例として、
【0037】
【数4】
【0038】などが考えられる。もちろん他の距離関数
が適用できることは言うまでもない。
【0039】この距離関数を用いて、検索するときの処
理手順を示す図2の(S6)で、計算して得られた距離の
少ないインデックス動画像からいくつかを(S7)で提示
する。
【0040】
【発明の効果】以上説明したように本発明の動画像照合
方法は、人間が画像を解釈しキーワードを案内すること
なしに、動画像の検索が可能となる。また、この方法が
検索のみならず、動画像の編集、解析などにも使用でき
ることは言うまでもない。
【図面の簡単な説明】
【図1】本発明の検索時に用いられる動画像の模式図で
ある。
【図2】本発明の検索手順を示すフローチャートであ
る。

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 複数の動画像間の照合を行なう動画像照
    合方法において、動画像中のフレーム毎に対象物体を切
    り出し、一連のフレーム中の対象物体の位置情報をもと
    に算出される移動速度情報を用いてキー動画像と照合す
    ることを特徴とする動画像照合方法。
  2. 【請求項2】 複数の動画像間の照合を行なう動画像照
    合方法において、動画像中のフレーム毎に対象物体を切
    り出し、一連のフレーム中の対象物体の位置情報の連鎖
    からなる移動軌跡情報を用いてキー動画像と照合するこ
    とを特徴とする動画像照合方法。
  3. 【請求項3】 複数の動画像間の照合を行なう動画像照
    合方法において、動画像中のフレーム毎に対象物体を切
    り出し、一連のフレーム中の対象物体の画積情報をもと
    に算出される移動物体の時間的形状情報を用いてキー動
    画像と照合することを特徴とする動画像照合方法。
JP3102786A 1991-05-08 1991-05-08 動画像照合方法 Pending JPH0520366A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3102786A JPH0520366A (ja) 1991-05-08 1991-05-08 動画像照合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3102786A JPH0520366A (ja) 1991-05-08 1991-05-08 動画像照合方法

Publications (1)

Publication Number Publication Date
JPH0520366A true JPH0520366A (ja) 1993-01-29

Family

ID=14336815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3102786A Pending JPH0520366A (ja) 1991-05-08 1991-05-08 動画像照合方法

Country Status (1)

Country Link
JP (1) JPH0520366A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07114567A (ja) * 1993-10-20 1995-05-02 Hitachi Ltd ビデオの検索方法および装置
US6195497B1 (en) 1993-10-25 2001-02-27 Hitachi, Ltd. Associated image retrieving apparatus and method
JP2002007458A (ja) * 2000-06-21 2002-01-11 Nippon Telegr & Teleph Corp <Ntt> 映像視聴方法と映像視聴装置および映像視聴方法を記録した記録媒体
JP2004127311A (ja) * 1993-10-25 2004-04-22 Hitachi Ltd 映像の連想検索装置
JP2007323268A (ja) * 2006-05-31 2007-12-13 Oki Electric Ind Co Ltd 映像提供装置
JP2009081845A (ja) * 2007-08-22 2009-04-16 Adobe Systems Inc 双方向映像フレーム検索システム及び方法
JP2009147603A (ja) * 2007-12-13 2009-07-02 Omron Corp 動画像同定装置
JP2010213052A (ja) * 2009-03-11 2010-09-24 Casio Computer Co Ltd 撮像装置、撮像方法、及び撮像プログラム
WO2012133028A1 (ja) * 2011-03-25 2012-10-04 株式会社ニコン 電子機器、選択方法、取得方法、電子装置、合成方法および合成プログラム
JP2012203657A (ja) * 2011-03-25 2012-10-22 Nikon Corp 電子機器及び取得方法
JP2012221401A (ja) * 2011-04-13 2012-11-12 Nikon Corp 電子機器及び選択方法
JP2012531130A (ja) * 2009-06-26 2012-12-06 インテル・コーポレーション ビデオコピーを検知する技術

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07114567A (ja) * 1993-10-20 1995-05-02 Hitachi Ltd ビデオの検索方法および装置
US6195497B1 (en) 1993-10-25 2001-02-27 Hitachi, Ltd. Associated image retrieving apparatus and method
JP2004127311A (ja) * 1993-10-25 2004-04-22 Hitachi Ltd 映像の連想検索装置
JP2002007458A (ja) * 2000-06-21 2002-01-11 Nippon Telegr & Teleph Corp <Ntt> 映像視聴方法と映像視聴装置および映像視聴方法を記録した記録媒体
JP2007323268A (ja) * 2006-05-31 2007-12-13 Oki Electric Ind Co Ltd 映像提供装置
JP2009081845A (ja) * 2007-08-22 2009-04-16 Adobe Systems Inc 双方向映像フレーム検索システム及び方法
JP2009147603A (ja) * 2007-12-13 2009-07-02 Omron Corp 動画像同定装置
JP2010213052A (ja) * 2009-03-11 2010-09-24 Casio Computer Co Ltd 撮像装置、撮像方法、及び撮像プログラム
JP2012531130A (ja) * 2009-06-26 2012-12-06 インテル・コーポレーション ビデオコピーを検知する技術
WO2012133028A1 (ja) * 2011-03-25 2012-10-04 株式会社ニコン 電子機器、選択方法、取得方法、電子装置、合成方法および合成プログラム
JP2012203657A (ja) * 2011-03-25 2012-10-22 Nikon Corp 電子機器及び取得方法
JP2012221401A (ja) * 2011-04-13 2012-11-12 Nikon Corp 電子機器及び選択方法

Similar Documents

Publication Publication Date Title
US5805733A (en) Method and system for detecting scenes and summarizing video sequences
JP4168940B2 (ja) 映像表示システム
CN102855463B (zh) 面部识别装置及其控制方法和面部识别方法
EP1258816A2 (en) Image search method and apparatus
JP5602135B2 (ja) ビデオコンテンツ内の個人の自動注釈付けのための方法およびシステム
US8379931B2 (en) Image processing apparatus for retrieving object from moving image and method thereof
JP5212610B2 (ja) 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム並びに、代表画像又は代表画像群の選択システム、その方法およびそのプログラム
KR20170007747A (ko) 자연어 이미지 검색 기법
JP2000285253A (ja) 物体領域情報記述方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
JPH05108730A (ja) 動画像データベースの検索
JPH0520366A (ja) 動画像照合方法
JP4536940B2 (ja) 画像処理装置、画像処理方法、記憶媒体、及びコンピュータプログラム
US20020111939A1 (en) Image data retrieval apparatus and method capable of facilitating retrieval of desired image data from image database
EP3627354A1 (en) Information processing system, method for controlling information processing system, and storage medium
KR100305591B1 (ko) 관절점기반동작정보를사용한동영상검색방법
US6161108A (en) Method and apparatus for managing images, a method and apparatus for retrieving images, and a computer-readable recording medium with a program for making a computer execute the methods stored therein
JP2006163527A (ja) 画像検索装置及び方法
US20230131717A1 (en) Search processing device, search processing method, and computer program product
JP2007304771A (ja) 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法
JP2007102362A (ja) 分類カテゴリ自動形成装置及びデジタル画像コンテンツ自動分類装置並びにデジタル画像コンテンツ管理システム
JP2002304415A (ja) 画像検索装置
JP3330348B2 (ja) 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体
JP4270118B2 (ja) 映像シーンに対する意味ラベル付与方法及び装置及びプログラム
JPH05242160A (ja) 画像特徴抽出装置、画像照合装置および画像検索装置
Guler et al. A video event detection and mining framework