JP5248685B1 - 動画検索装置、動画検索方法、記録媒体、ならびに、プログラム - Google Patents
動画検索装置、動画検索方法、記録媒体、ならびに、プログラム Download PDFInfo
- Publication number
- JP5248685B1 JP5248685B1 JP2012010492A JP2012010492A JP5248685B1 JP 5248685 B1 JP5248685 B1 JP 5248685B1 JP 2012010492 A JP2012010492 A JP 2012010492A JP 2012010492 A JP2012010492 A JP 2012010492A JP 5248685 B1 JP5248685 B1 JP 5248685B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame image
- drawn
- target
- searched
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7328—Query by example, e.g. a complete video frame or video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/248—Aligning, centring, orientation detection or correction of the image by interactive preprocessing or interactive shape modelling, e.g. feature points assigned by a user
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】動画像内に現れるべきオブジェクトの位置や向き等をユーザが容易に指定して動画検索を行う動画検索装置等を提供する。
【解決手段】動画検索装置501において、受付部502は、静止画像、静止画像内の2つの参照位置、動画フレーム内の2つの目標位置、の入力を受け付ける。抽出部503は、静止画像から2つの参照位置を含む参照画像を抽出する。検索部504は、動画像に含まれるフレーム画像から、参照画像に類似する局所画像が描画される類似フレーム画像を検索し、局所画像内において、2つの参照位置に対応する開始位置に描画される2つの注目画素の、動画像において類似フレーム画像から時間を進行あるいは逆行させた際の2つの移動軌跡を追跡し、2つの移動軌跡が2つの目標位置の近傍に至る目標フレーム画像を検索し、類似フレーム画像と目標フレーム画像とを含む動画像を、検索結果とする。
【選択図】図5
Description
参照オブジェクトが描画された静止画像、当該静止画像内の当該参照オブジェクトが描画された参照領域内に含まれる第1参照位置ならびに第2参照位置、動画像に含まれるフレーム画像内の第1目標位置ならびに第2目標位置の入力を受け付ける受付部、
前記第1参照位置ならびに前記第2参照位置に基づいて、前記参照領域内に描画されている参照画像を抽出する抽出部、
動画像に含まれるフレーム画像であって、前記参照画像に類似する局所画像が描画されている類似フレーム画像を検索し、前記検索された類似フレーム画像において前記局所画像が描画されている局所領域内において、前記参照領域内の前記第1参照位置と、前記第2参照位置と、に対応付けられる第1開始位置と、第2開始位置と、を求め、当該検索された類似フレーム画像を含む動画像に含まれるフレーム画像を当該検索された類似フレーム画像から時間の進行方向もしくは逆行方向に走査することにより、当該検索された類似フレーム画像において前記第1開始位置に描画されている第1注目画素が移動する第1移動軌跡と、前記第2開始位置に描画されている第2注目画素が移動する第2移動軌跡と、を追跡して、当該第1移動軌跡が前記第1目標位置の近傍に至り、当該第2移動軌跡が前記第2目標位置の近傍に至る目標フレーム画像を検索し、当該検索された類似フレーム画像ならびに当該検索された目標フレーム画像を含む動画像を検索結果とする検索部
を備えるように構成する。
前記受付部は、前記動画像に含まれるフレーム画像内における目標軌跡の入力をさらに受け付け、
前記検索部は、前記検索された動画像のそれぞれについて、当該検索された動画像に含まれるフレーム画像を、当該動画像に含まれる目標フレーム画像から時間の進行方向に走査することにより、当該検索された目標フレーム画像に描画されている局所画像の代表画素が移動する代表軌跡を追跡して、前記目標軌跡と、前記代表軌跡と、が類似する動画像を、前記検索結果とする
ように構成することができる。
前記検索部は、前記検索された動画像のそれぞれについて、当該検索された動画像に含まれるフレーム画像を、当該動画像に含まれる目標フレーム画像から時間の進行方向に走査することにより、当該検索された目標フレーム画像に描画されている局所画像の代表画素が移動する代表軌跡を追跡して、当該動画像とともに、当該動画像の代表軌跡を、前記検索結果とする
ように構成することができる。
前記抽出部は、前記参照画像の画像特徴量を取得し、
前記検索部は、前記参照画像の前記画像特徴量に類似する画像特徴量を有するフレーム画像を検索することにより、前記類似フレーム画像を検索する
ように構成することができる。
前記抽出部は、前記参照画像を反転した鏡画像の画像特徴量をさらに取得し、
前記検索部は、前記参照画像の前記画像特徴量もしくは前記鏡画像の前記画像特徴量に類似するフレーム画像を検索することにより、前記類似フレーム画像を検索する
ように構成することができる。
前記受付部が、参照オブジェクトが描画された静止画像、当該静止画像内の当該参照オブジェクトが描画された参照領域内に含まれる第1参照位置ならびに第2参照位置、動画像に含まれるべきフレーム画像内の第1目標位置ならびに第2目標位置の入力を受け付ける受付ステップ、
前記抽出部が、前記第1参照位置ならびに前記第2参照位置に基づいて、前記参照領域内に描画されている参照画像を抽出する抽出ステップ、
前記検索部が、動画像に含まれるフレーム画像であって、前記参照画像に類似する局所画像が描画されている類似フレーム画像を検索し、前記検索された類似フレーム画像において前記局所画像が描画されている局所領域内において、前記参照領域内の前記第1参照位置と、前記第2参照位置と、に対応付けられる第1開始位置と、第2開始位置と、を求め、当該検索された類似フレーム画像を含む動画像に含まれるフレーム画像を当該検索された類似フレーム画像から時間の進行方向もしくは逆行方向に走査することにより、当該検索された類似フレーム画像において前記第1開始位置に描画されている第1注目画素が移動する第1移動軌跡と、前記第2開始位置に描画されている第2注目画素が移動する第2移動軌跡と、を追跡して、当該第1移動軌跡が前記第1目標位置の近傍に至り、当該第2移動軌跡が前記第2目標位置の近傍に至る目標フレーム画像を検索し、当該検索された類似フレーム画像ならびに当該検索された目標フレーム画像を含む動画像を検索結果とする検索ステップ
を備えるように構成する。
参照オブジェクトが描画された静止画像、当該静止画像内の当該参照オブジェクトが描画された参照領域内に含まれる第1参照位置ならびに第2参照位置、動画像に含まれるべきフレーム画像内の第1目標位置ならびに第2目標位置の入力を受け付ける受付部、
前記第1参照位置ならびに前記第2参照位置に基づいて、前記参照領域内に描画されている参照画像を抽出する抽出部、
動画像に含まれるフレーム画像であって、前記参照画像に類似する局所画像が描画されている類似フレーム画像を検索し、前記検索された類似フレーム画像において前記局所画像が描画されている局所領域内において、前記参照領域内の前記第1参照位置と、前記第2参照位置と、に対応付けられる第1開始位置と、第2開始位置と、を求め、当該検索された類似フレーム画像を含む動画像に含まれるフレーム画像を当該検索された類似フレーム画像から時間の進行方向もしくは逆行方向に走査することにより、当該検索された類似フレーム画像において前記第1開始位置に描画されている第1注目画素が移動する第1移動軌跡と、前記第2開始位置に描画されている第2注目画素が移動する第2移動軌跡と、を追跡して、当該第1移動軌跡が前記第1目標位置の近傍に至り、当該第2移動軌跡が前記第2目標位置の近傍に至る目標フレーム画像を検索し、当該検索された類似フレーム画像ならびに当該検索された目標フレーム画像を含む動画像を検索結果とする検索部
として機能させるプログラムを記録するように構成する。
参照オブジェクトが描画された静止画像、当該静止画像内の当該参照オブジェクトが描画された参照領域内に含まれる第1参照位置ならびに第2参照位置、動画像に含まれるべきフレーム画像内の第1目標位置ならびに第2目標位置の入力を受け付ける受付部、
前記第1参照位置ならびに前記第2参照位置に基づいて、前記参照領域内に描画されている参照画像を抽出する抽出部、
動画像に含まれるフレーム画像であって、前記参照画像に類似する局所画像が描画されている類似フレーム画像を検索し、前記検索された類似フレーム画像において前記局所画像が描画されている局所領域内において、前記参照領域内の前記第1参照位置と、前記第2参照位置と、に対応付けられる第1開始位置と、第2開始位置と、を求め、当該検索された類似フレーム画像を含む動画像に含まれるフレーム画像を当該検索された類似フレーム画像から時間の進行方向もしくは逆行方向に走査することにより、当該検索された類似フレーム画像において前記第1開始位置に描画されている第1注目画素が移動する第1移動軌跡と、前記第2開始位置に描画されている第2注目画素が移動する第2移動軌跡と、を追跡して、当該第1移動軌跡が前記第1目標位置の近傍に至り、当該第2移動軌跡が前記第2目標位置の近傍に至る目標フレーム画像を検索し、当該検索された類似フレーム画像ならびに当該検索された目標フレーム画像を含む動画像を検索結果とする検索部
として機能させるように構成する。
本実施形態では、ユーザは、静止画像とともに種々の情報を指定することにより、どのような動画像を得たいか、を指定する。以下ではまず、これらの情報の指定方法について概説する。
(a)静止画像101内において、自動車102の前端が描画されている参照位置311から、動画フレーム331内において自動車202の前端が描画されるべき目標位置351へ、矢印371を引く指示、ならびに、
(b)静止画像101内において、自動車102の後端が描画されている参照位置312から、動画フレーム331内において自動車202の後端が描画されるべき目標位置352へ、矢印372を引く指示
を行っている。このような指示は、たとえば、マウスを用いたドラッグアンドドロップ操作や、タッチスクリーンやタッチパネルに対するスライド操作(指で表面に触れ、触れたまま指を移動させた後、指を離す操作)によって行われる。
図5は、本発明の実施例に係る動画検索装置の概要構成を示す説明図である。図6は、本発明の実施例に係る動画検索装置が実行する動画検索処理の制御の流れを示すフローチャートである。以下、これらの図を参照して説明する。
(a)静止画像101。
(b)静止画像101内の参照位置311、312(本実施形態では、矢印371、372の始点)。
(c)動画フレーム331内の目標位置351、352(本実施形態では、矢印371、372の終点)。
102 参照オブジェクトの自動車
121 静止画像の全領域
122 参照領域
123 参照画像
201 フレーム画像
202 目標オブジェクトの自動車
221 フレーム画像の全領域
222 目標領域
223 目標画像
301 画面
311 参照位置
312 参照位置
331 動画フレーム
351 目標位置
352 目標位置
371 矢印
372 矢印
501 動画検索装置
502 受付部
503 抽出部
504 検索部
701 参照画像
801 動画像
802 フレーム画像
803 局所画像
811 開始位置
812 開始位置
901 注目画素
902 注目画素
951 移動軌跡
952 移動軌跡
971 参照位置に係る方向ベクトル
972 目標位置に係る方向ベクトル
981 代表軌跡
982 目標軌跡に係る矢印
991 概要画像
Claims (12)
- 参照オブジェクトが描画された静止画像、当該静止画像内の当該参照オブジェクトが描画された参照領域内に含まれる第1参照位置ならびに第2参照位置、動画像に含まれるフレーム画像内の第1目標位置ならびに第2目標位置の入力を受け付ける受付部、
前記第1参照位置ならびに前記第2参照位置に基づいて、前記参照領域内に描画されている参照画像を抽出する抽出部、
動画像に含まれるフレーム画像であって、前記参照画像に類似する局所画像が描画されている類似フレーム画像を検索し、前記検索された類似フレーム画像において前記局所画像が描画されている局所領域内において、前記参照領域内の前記第1参照位置と、前記第2参照位置と、に対応付けられる第1開始位置と、第2開始位置と、を求め、当該検索された類似フレーム画像を含む動画像に含まれるフレーム画像を当該検索された類似フレーム画像から時間の進行方向もしくは逆行方向に走査することにより、当該検索された類似フレーム画像において前記第1開始位置に描画されている第1注目画素が移動する第1移動軌跡と、前記第2開始位置に描画されている第2注目画素が移動する第2移動軌跡と、を追跡して、当該第1移動軌跡が前記第1目標位置の近傍に至り、当該第2移動軌跡が前記第2目標位置の近傍に至る目標フレーム画像を検索し、当該検索された類似フレーム画像ならびに当該検索された目標フレーム画像を含む動画像を検索結果とする検索部
を備えることを特徴とする動画検索装置。 - 請求項1に記載の動画検索装置であって、
前記受付部は、前記動画像に含まれるフレーム画像内における目標軌跡の入力をさらに受け付け、
前記検索部は、前記検索された動画像のそれぞれについて、当該検索された動画像に含まれるフレーム画像を、当該動画像に含まれる目標フレーム画像から時間の進行方向に走査することにより、当該検索された目標フレーム画像に描画されている局所画像の代表画素が移動する代表軌跡を追跡して、前記目標軌跡と、前記代表軌跡と、が類似する動画像を、前記検索結果とする
ことを特徴とする動画検索装置。 - 請求項1に記載の動画検索装置であって、
前記検索部は、前記検索された動画像のそれぞれについて、当該検索された動画像に含まれるフレーム画像を、当該動画像に含まれる目標フレーム画像から時間の進行方向に走査することにより、当該検索された目標フレーム画像に描画されている局所画像の代表画素が移動する代表軌跡を追跡して、当該動画像とともに、当該動画像の代表軌跡を、前記検索結果とする
ことを特徴とする動画検索装置。 - 請求項1から3のいずれか1項に記載の動画検索装置であって、
前記抽出部は、前記参照画像の画像特徴量を取得し、
前記検索部は、前記参照画像の前記画像特徴量に類似する画像特徴量を有するフレーム画像を検索することにより、前記類似フレーム画像を検索する
ことを特徴とする動画検索装置。 - 請求項4に記載の動画検索装置であって、
前記抽出部は、前記参照画像を反転した鏡画像の画像特徴量をさらに取得し、
前記検索部は、前記参照画像の前記画像特徴量もしくは前記鏡画像の前記画像特徴量に類似するフレーム画像を検索することにより、前記類似フレーム画像を検索する
ことを特徴とする動画検索装置。 - 受付部、抽出部、検索部を備える動画検索装置にて実行される動画検索方法であって、
前記受付部が、参照オブジェクトが描画された静止画像、当該静止画像内の当該参照オブジェクトが描画された参照領域内に含まれる第1参照位置ならびに第2参照位置、動画像に含まれるべきフレーム画像内の第1目標位置ならびに第2目標位置の入力を受け付ける受付ステップ、
前記抽出部が、前記第1参照位置ならびに前記第2参照位置に基づいて、前記参照領域内に描画されている参照画像を抽出する抽出ステップ、
前記検索部が、動画像に含まれるフレーム画像であって、前記参照画像に類似する局所画像が描画されている類似フレーム画像を検索し、前記検索された類似フレーム画像において前記局所画像が描画されている局所領域内において、前記参照領域内の前記第1参照位置と、前記第2参照位置と、に対応付けられる第1開始位置と、第2開始位置と、を求め、当該検索された類似フレーム画像を含む動画像に含まれるフレーム画像を当該検索された類似フレーム画像から時間の進行方向もしくは逆行方向に走査することにより、当該検索された類似フレーム画像において前記第1開始位置に描画されている第1注目画素が移動する第1移動軌跡と、前記第2開始位置に描画されている第2注目画素が移動する第2移動軌跡と、を追跡して、当該第1移動軌跡が前記第1目標位置の近傍に至り、当該第2移動軌跡が前記第2目標位置の近傍に至る目標フレーム画像を検索し、当該検索された類似フレーム画像ならびに当該検索された目標フレーム画像を含む動画像を検索結果とする検索ステップ
を備えることを特徴とする動画検索方法。 - コンピュータを、
参照オブジェクトが描画された静止画像、当該静止画像内の当該参照オブジェクトが描画された参照領域内に含まれる第1参照位置ならびに第2参照位置、動画像に含まれるべきフレーム画像内の第1目標位置ならびに第2目標位置の入力を受け付ける受付部、
前記第1参照位置ならびに前記第2参照位置に基づいて、前記参照領域内に描画されている参照画像を抽出する抽出部、
動画像に含まれるフレーム画像であって、前記参照画像に類似する局所画像が描画されている類似フレーム画像を検索し、前記検索された類似フレーム画像において前記局所画像が描画されている局所領域内において、前記参照領域内の前記第1参照位置と、前記第2参照位置と、に対応付けられる第1開始位置と、第2開始位置と、を求め、当該検索された類似フレーム画像を含む動画像に含まれるフレーム画像を当該検索された類似フレーム画像から時間の進行方向もしくは逆行方向に走査することにより、当該検索された類似フレーム画像において前記第1開始位置に描画されている第1注目画素が移動する第1移動軌跡と、前記第2開始位置に描画されている第2注目画素が移動する第2移動軌跡と、を追跡して、当該第1移動軌跡が前記第1目標位置の近傍に至り、当該第2移動軌跡が前記第2目標位置の近傍に至る目標フレーム画像を検索し、当該検索された類似フレーム画像ならびに当該検索された目標フレーム画像を含む動画像を検索結果とする検索部
として機能させることを特徴とするプログラムを記録した非一時的なコンピュータ読取可能な記録媒体。 - コンピュータを、
参照オブジェクトが描画された静止画像、当該静止画像内の当該参照オブジェクトが描画された参照領域内に含まれる第1参照位置ならびに第2参照位置、動画像に含まれるべきフレーム画像内の第1目標位置ならびに第2目標位置の入力を受け付ける受付部、
前記第1参照位置ならびに前記第2参照位置に基づいて、前記参照領域内に描画されている参照画像を抽出する抽出部、
動画像に含まれるフレーム画像であって、前記参照画像に類似する局所画像が描画されている類似フレーム画像を検索し、前記検索された類似フレーム画像において前記局所画像が描画されている局所領域内において、前記参照領域内の前記第1参照位置と、前記第2参照位置と、に対応付けられる第1開始位置と、第2開始位置と、を求め、当該検索された類似フレーム画像を含む動画像に含まれるフレーム画像を当該検索された類似フレーム画像から時間の進行方向もしくは逆行方向に走査することにより、当該検索された類似フレーム画像において前記第1開始位置に描画されている第1注目画素が移動する第1移動軌跡と、前記第2開始位置に描画されている第2注目画素が移動する第2移動軌跡と、を追跡して、当該第1移動軌跡が前記第1目標位置の近傍に至り、当該第2移動軌跡が前記第2目標位置の近傍に至る目標フレーム画像を検索し、当該検索された類似フレーム画像ならびに当該検索された目標フレーム画像を含む動画像を検索結果とする検索部
として機能させることを特徴とするプログラム。 - 参照オブジェクトが描画された静止画像、当該静止画像内の当該参照オブジェクトが描画された参照領域内に含まれる第1参照位置ならびに第2参照位置、動画像に含まれるフレーム画像内の第1目標位置ならびに第2目標位置の入力を受け付ける受付部、
前記第1参照位置ならびに前記第2参照位置に基づいて、前記参照領域内に描画されている参照画像を抽出する抽出部、
動画像に含まれるフレーム画像であって、前記参照画像に類似する局所画像が描画されている類似フレーム画像を検索し、前記検索された類似フレーム画像において前記局所画像が描画されている局所領域内において、前記参照領域内の前記第1参照位置と、前記第2参照位置と、に対応付けられる第1開始位置と、第2開始位置と、を求め、当該検索された類似フレーム画像を含む動画像に含まれるフレーム画像を当該検索された類似フレーム画像から時間の進行方向もしくは逆行方向に走査することにより、当該検索された類似フレーム画像において前記第1開始位置に描画されている第1注目画素が移動する第1移動軌跡と、前記第2開始位置に描画されている第2注目画素が移動する第2移動軌跡と、を追跡して、当該第1移動軌跡が前記第1目標位置の近傍に至り、当該第2移動軌跡が前記第2目標位置の近傍に至る目標フレーム画像を検索する検索部
を備えることを特徴とする動画検索装置。 - 参照オブジェクトが描画された静止画像、当該静止画像内の当該参照オブジェクトが描画された参照領域内に含まれる第1参照位置ならびに第2参照位置、動画像に含まれるフレーム画像内の第1目標位置ならびに第2目標位置の入力を受け付ける受付工程、
前記第1参照位置ならびに前記第2参照位置に基づいて、前記参照領域内に描画されている参照画像を抽出する抽出工程、
動画像に含まれるフレーム画像であって、前記参照画像に類似する局所画像が描画されている類似フレーム画像を検索し、前記検索された類似フレーム画像において前記局所画像が描画されている局所領域内において、前記参照領域内の前記第1参照位置と、前記第2参照位置と、に対応付けられる第1開始位置と、第2開始位置と、を求め、当該検索された類似フレーム画像を含む動画像に含まれるフレーム画像を当該検索された類似フレーム画像から時間の進行方向もしくは逆行方向に走査することにより、当該検索された類似フレーム画像において前記第1開始位置に描画されている第1注目画素が移動する第1移動軌跡と、前記第2開始位置に描画されている第2注目画素が移動する第2移動軌跡と、を追跡して、当該第1移動軌跡が前記第1目標位置の近傍に至り、当該第2移動軌跡が前記第2目標位置の近傍に至る目標フレーム画像を検索する検索工程
を備えることを特徴とする動画検索方法。 - コンピュータを、
参照オブジェクトが描画された静止画像、当該静止画像内の当該参照オブジェクトが描画された参照領域内に含まれる第1参照位置ならびに第2参照位置、動画像に含まれるフレーム画像内の第1目標位置ならびに第2目標位置の入力を受け付ける受付部、
前記第1参照位置ならびに前記第2参照位置に基づいて、前記参照領域内に描画されている参照画像を抽出する抽出部、
動画像に含まれるフレーム画像であって、前記参照画像に類似する局所画像が描画されている類似フレーム画像を検索し、前記検索された類似フレーム画像において前記局所画像が描画されている局所領域内において、前記参照領域内の前記第1参照位置と、前記第2参照位置と、に対応付けられる第1開始位置と、第2開始位置と、を求め、当該検索された類似フレーム画像を含む動画像に含まれるフレーム画像を当該検索された類似フレーム画像から時間の進行方向もしくは逆行方向に走査することにより、当該検索された類似フレーム画像において前記第1開始位置に描画されている第1注目画素が移動する第1移動軌跡と、前記第2開始位置に描画されている第2注目画素が移動する第2移動軌跡と、を追跡して、当該第1移動軌跡が前記第1目標位置の近傍に至り、当該第2移動軌跡が前記第2目標位置の近傍に至る目標フレーム画像を検索する検索部
として機能させることを特徴とするプログラムを記録したコンピュータ読取可能な情報記録媒体。 - コンピュータを、
参照オブジェクトが描画された静止画像、当該静止画像内の当該参照オブジェクトが描画された参照領域内に含まれる第1参照位置ならびに第2参照位置、動画像に含まれるフレーム画像内の第1目標位置ならびに第2目標位置の入力を受け付ける受付部、
前記第1参照位置ならびに前記第2参照位置に基づいて、前記参照領域内に描画されている参照画像を抽出する抽出部、
動画像に含まれるフレーム画像であって、前記参照画像に類似する局所画像が描画されている類似フレーム画像を検索し、前記検索された類似フレーム画像において前記局所画像が描画されている局所領域内において、前記参照領域内の前記第1参照位置と、前記第2参照位置と、に対応付けられる第1開始位置と、第2開始位置と、を求め、当該検索された類似フレーム画像を含む動画像に含まれるフレーム画像を当該検索された類似フレーム画像から時間の進行方向もしくは逆行方向に走査することにより、当該検索された類似フレーム画像において前記第1開始位置に描画されている第1注目画素が移動する第1移動軌跡と、前記第2開始位置に描画されている第2注目画素が移動する第2移動軌跡と、を追跡して、当該第1移動軌跡が前記第1目標位置の近傍に至り、当該第2移動軌跡が前記第2目標位置の近傍に至る目標フレーム画像を検索する検索部
として機能させることを特徴とするプログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012010492A JP5248685B1 (ja) | 2012-01-20 | 2012-01-20 | 動画検索装置、動画検索方法、記録媒体、ならびに、プログラム |
ES12866068.5T ES2618075T3 (es) | 2012-01-20 | 2012-10-12 | Dispositivo de búsqueda de vídeo, método de búsqueda de vídeo, medio de registro y programa |
EP12866068.5A EP2733931B1 (en) | 2012-01-20 | 2012-10-12 | Video search device, video search method, recording medium, and program |
CN201280040285.0A CN103748870B (zh) | 2012-01-20 | 2012-10-12 | 动态图像检索装置、动态图像检索方法 |
PCT/JP2012/076480 WO2013108448A1 (ja) | 2012-01-20 | 2012-10-12 | 動画検索装置、動画検索方法、記録媒体、ならびに、プログラム |
US14/240,284 US9076036B2 (en) | 2012-01-20 | 2012-10-12 | Video search device, video search method, recording medium, and program |
TW102102120A TWI514172B (zh) | 2012-01-20 | 2013-01-18 | An animation search device, an animation search method, a recording medium, and a program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012010492A JP5248685B1 (ja) | 2012-01-20 | 2012-01-20 | 動画検索装置、動画検索方法、記録媒体、ならびに、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5248685B1 true JP5248685B1 (ja) | 2013-07-31 |
JP2013150218A JP2013150218A (ja) | 2013-08-01 |
Family
ID=48798885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012010492A Active JP5248685B1 (ja) | 2012-01-20 | 2012-01-20 | 動画検索装置、動画検索方法、記録媒体、ならびに、プログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US9076036B2 (ja) |
EP (1) | EP2733931B1 (ja) |
JP (1) | JP5248685B1 (ja) |
CN (1) | CN103748870B (ja) |
ES (1) | ES2618075T3 (ja) |
TW (1) | TWI514172B (ja) |
WO (1) | WO2013108448A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102025362B1 (ko) * | 2013-11-07 | 2019-09-25 | 한화테크윈 주식회사 | 검색 시스템 및 영상 검색 방법 |
JP6225039B2 (ja) | 2014-01-31 | 2017-11-01 | 株式会社日立製作所 | 画像検索システム、画像検索装置及び画像検索方法 |
CN105678254B (zh) * | 2016-01-04 | 2019-05-31 | 深圳市茁壮网络股份有限公司 | 一种视频检测方法及装置 |
KR102673041B1 (ko) * | 2016-08-18 | 2024-06-07 | 한화비전 주식회사 | 이벤트 검색 시스템, 장치 및 방법 |
US10229325B2 (en) | 2017-02-28 | 2019-03-12 | International Business Machines Corporation | Motion based video searching system using a defined movement path for an object |
US11599253B2 (en) * | 2020-10-30 | 2023-03-07 | ROVl GUIDES, INC. | System and method for selection of displayed objects by path tracing |
US20220137700A1 (en) * | 2020-10-30 | 2022-05-05 | Rovi Guides, Inc. | System and method for selection of displayed objects by path tracing |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06101018B2 (ja) * | 1991-08-29 | 1994-12-12 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 動画像データベースの検索 |
JP2001134589A (ja) | 1999-11-05 | 2001-05-18 | Nippon Hoso Kyokai <Nhk> | 動画像検索装置 |
TWI310545B (en) * | 2003-10-04 | 2009-06-01 | Samsung Electronics Co Ltd | Storage medium storing search information and reproducing apparatus |
JP2006093955A (ja) * | 2004-09-22 | 2006-04-06 | Matsushita Electric Ind Co Ltd | 映像処理装置 |
US7804981B2 (en) * | 2005-01-13 | 2010-09-28 | Sensis Corporation | Method and system for tracking position of an object using imaging and non-imaging surveillance devices |
JP4703480B2 (ja) * | 2006-05-17 | 2011-06-15 | 株式会社日立製作所 | 映像内の移動体検出方法、映像システムの異常発生原因分析支援方法及び支援システム |
CN101465033B (zh) * | 2008-05-28 | 2011-01-26 | 丁国锋 | 一种自动追踪识别***及方法 |
US8848974B2 (en) * | 2008-09-29 | 2014-09-30 | Restoration Robotics, Inc. | Object-tracking systems and methods |
KR101634228B1 (ko) * | 2009-03-17 | 2016-06-28 | 삼성전자주식회사 | 디지털 이미지 처리장치, 추적방법, 추적방법을 실행시키기위한 프로그램을 저장한 기록매체 및 추적방법을 채용한 디지털 이미지 처리장치 |
JP4874425B1 (ja) * | 2010-12-28 | 2012-02-15 | オリンパスイメージング株式会社 | 再生装置および撮像装置 |
JP4922472B1 (ja) * | 2011-09-29 | 2012-04-25 | 楽天株式会社 | 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体 |
-
2012
- 2012-01-20 JP JP2012010492A patent/JP5248685B1/ja active Active
- 2012-10-12 ES ES12866068.5T patent/ES2618075T3/es active Active
- 2012-10-12 CN CN201280040285.0A patent/CN103748870B/zh active Active
- 2012-10-12 WO PCT/JP2012/076480 patent/WO2013108448A1/ja active Application Filing
- 2012-10-12 EP EP12866068.5A patent/EP2733931B1/en active Active
- 2012-10-12 US US14/240,284 patent/US9076036B2/en active Active
-
2013
- 2013-01-18 TW TW102102120A patent/TWI514172B/zh active
Also Published As
Publication number | Publication date |
---|---|
TW201333734A (zh) | 2013-08-16 |
JP2013150218A (ja) | 2013-08-01 |
TWI514172B (zh) | 2015-12-21 |
US9076036B2 (en) | 2015-07-07 |
WO2013108448A1 (ja) | 2013-07-25 |
EP2733931B1 (en) | 2016-12-07 |
ES2618075T3 (es) | 2017-06-20 |
EP2733931A1 (en) | 2014-05-21 |
US20140205148A1 (en) | 2014-07-24 |
CN103748870A (zh) | 2014-04-23 |
CN103748870B (zh) | 2016-12-07 |
EP2733931A4 (en) | 2015-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5248685B1 (ja) | 動画検索装置、動画検索方法、記録媒体、ならびに、プログラム | |
Liang et al. | Camera-based analysis of text and documents: a survey | |
JP5139716B2 (ja) | 画像検索装置及び画像検索方法 | |
US8200648B2 (en) | Data similarity and importance using local and global evidence scores | |
US9424255B2 (en) | Server-assisted object recognition and tracking for mobile devices | |
US20070237225A1 (en) | Method for enabling preview of video files | |
JP5703194B2 (ja) | ジェスチャ認識装置、その方法、及び、そのプログラム | |
WO2017197593A1 (en) | Apparatus, method and computer program product for recovering editable slide | |
JP6061502B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO1999005865A1 (en) | Content-based video access | |
Liu et al. | Data-driven indoor scene modeling from a single color image with iterative object segmentation and model retrieval | |
Barhoumi | Detection of highly articulated moving objects by using co-segmentation with application to athletic video sequences | |
JP2016025625A (ja) | 情報処理装置、情報処理方法及びプログラム | |
Mooser et al. | Large document, small screen: a camera driven scroll and zoom control for mobile devices | |
An et al. | Unified framework for automatic image stitching and rectification | |
Apostolidis et al. | Video fragmentation and reverse search on the web | |
Daga | Content based video retrieval using color feature: an integration approach | |
Wang et al. | Online photography assistance by exploring geo-referenced photos on MID/UMPC | |
JP3451925B2 (ja) | 物体認識方法及び物体認識装置 | |
Cheng et al. | Automatic generation of video navigation from Google Street View data with car detection and inpainting | |
Grzegorzek | A system for 3D texture-based probabilistic object recognition and its applications | |
AU2013273790A1 (en) | Heterogeneous feature filtering | |
Rana et al. | 3D Skeletal reconstruction from low-resolution multi-view images | |
Zakour et al. | ADL4D: Towards A Contextually Rich Dataset for 4D Activities of Daily Living | |
Bhute et al. | IVSS Integration of Color Feature Extraction Techniques for Intelligent Video Search Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130410 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5248685 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160419 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |