JP5538781B2 - Image search apparatus and image search method - Google Patents
Image search apparatus and image search method Download PDFInfo
- Publication number
- JP5538781B2 JP5538781B2 JP2009202800A JP2009202800A JP5538781B2 JP 5538781 B2 JP5538781 B2 JP 5538781B2 JP 2009202800 A JP2009202800 A JP 2009202800A JP 2009202800 A JP2009202800 A JP 2009202800A JP 5538781 B2 JP5538781 B2 JP 5538781B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- sequence
- subject
- image
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
本発明は、画像検索装置及び画像検索方法に関する。 The present invention relates to an image search device and an image search method.
従来、動画像からユーザーが所望する被写体の画像を検索する画像検索装置が知られている。この画像検索装置により検索できるのはフレーム単位の画像であり、フレーム単位に検索した画像がそのまま表示される。したがって、この画像検索装置によれば、動画像において登場する所望の人物を把握することができる。 2. Description of the Related Art Conventionally, there has been known an image search apparatus that searches a moving image for a subject image desired by a user. This image retrieval device can retrieve images in units of frames, and the images retrieved in units of frames are displayed as they are. Therefore, according to this image search device, it is possible to grasp a desired person appearing in the moving image.
近年、被写体を検出できた箇所から、その時点の前後の一定の時間、複数フレーム中から映像信号を録画する技術が開示されている(例えば、特許文献1参照)。 2. Description of the Related Art In recent years, a technique for recording video signals from a plurality of frames for a certain period of time before and after the time point from which a subject can be detected has been disclosed (for example, see Patent Document 1).
しかしながら、上述した技術は、被写体が映っている映像区間を精度よく特定するものではない。すなわち、上述した技術により映像区間を検索したとしても、被写体と関係が薄い映像区間が多々検索されるという問題がある。 However, the above-described technique does not accurately specify the video section in which the subject is shown. That is, even if a video section is searched by the above-described technique, there is a problem that many video sections that are not closely related to the subject are searched.
本発明はこのような問題点に鑑みなされたもので、被写体と関係が深い映像区間を検索することを目的とする。 The present invention has been made in view of such problems, and an object thereof is to search for a video section that is closely related to a subject.
そこで、本発明の画像検索装置は、複数のフレームを有する動画像より複数の被写体パターンを検出する検出手段と、前記複数の被写体パターンの各々に対応する前記動画像における被写体画像を、前記被写体パターンごとに一連のフレームについて集めたシーケンスを生成する生成手段と、前記生成手段で生成されたシーケンスを構成する複数の被写体画像の各被写体画像の状態に基づいて、それぞれの被写体画像が被写体の類似度判定に有効か否かを判定する判定手段と、前記複数の被写体画像のうち、前記判定手段により有効と判定された被写体画像の特徴量を算出する特徴量算出手段と、前記シーケンスに対して前記特徴量算出手段により算出された特徴量を記憶部に記憶する記憶手段と、検索条件として与えられたシーケンスに対する特徴量と、前記記憶部に記憶された各シーケンスに対する特徴量との類似度を算出する類似度算出手段と、前記記憶部に記憶されたシーケンスのうちから前記類似度算出手段で算出された類似度に基づいてシーケンスを抽出する抽出手段と、前記抽出手段で抽出されたシーケンスに対応する映像区間情報を検索結果として出力する出力手段と、を備えることを特徴とする。 Therefore, the image search apparatus according to the present invention includes a detecting unit that detects a plurality of subject patterns from a moving image having a plurality of frames, and a subject image in the moving image corresponding to each of the plurality of subject patterns. Generating means for generating a sequence collected for each series of frames, and based on the state of each of the subject images of a plurality of subject images constituting the sequence generated by the generating means, each subject image is subject similarity A determination unit that determines whether the determination is effective; a feature amount calculation unit that calculates a feature amount of the subject image determined to be effective by the determination unit among the plurality of subject images; and A storage unit that stores the feature amount calculated by the feature amount calculation unit in the storage unit, and a sequence given as a search condition. Calculated by the similarity calculation unit from among the sequences stored in the storage unit and the similarity calculation unit that calculates the similarity between the feature amount and the feature amount for each sequence stored in the storage unit An extraction means for extracting a sequence based on the similarity and an output means for outputting video section information corresponding to the sequence extracted by the extraction means as a search result .
本発明によれば、被写体と関係が深い映像区間を検索することができる。 According to the present invention, it is possible to search for a video section that is closely related to the subject.
以下、本発明に係る実施形態について図面に基づいて説明する。例えば、本実施形態に係る画像検索装置は、ユーザーが検索する対象の被写体として人物、特に顔を採用し、動画像から人物が映っている映像区間単位で、映像区間を代表する画像として顔画像及び映像区間を抽出して出力する。この構成によれば、ユーザーは、検索対象の被写体が映っている映像区間を容易に把握できる。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings. For example, the image search apparatus according to the present embodiment employs a person, particularly a face, as a subject to be searched by a user, and a face image as an image representing a video section in units of video sections in which a person is shown from a moving image. The video section is extracted and output. According to this configuration, the user can easily grasp the video section in which the subject to be searched is shown.
図1の(a)は、画像検索装置のハードウェア構成を示す図である。画像検索装置は、CPU(Central Processing Unit)1、記憶装置2、入力装置3、表示装置4、及び撮像装置5を含んで構成される。なお、各装置は、互いに通信可能に構成され、バス等により接続されている。
CPU1は、画像検索装置の動作をコントロールし、記憶装置2に格納されたプログラムの実行等を行う。
記憶装置2は、磁気記憶装置、半導体メモリ等のストレージデバイスであり、CPU1の動作に基づき読み込まれたプログラム、長時間記憶しなくてはならないデータ等を記憶する。
本実施形態では、CPU1が、記憶装置2に格納されたプログラムの手順に従って処理を行うことによって、画像検索装置における機能及び後述するフローチャートに係る処理が実現される。
入力装置3は、マウス、キーボード、タッチパネルデバイス、ボタン等であり、各種の指示を入力する。
表示装置4は、液晶パネル、外部モニタ等であり、各種の情報を表示する。
撮像装置5は、カムコーダ等であり、CCD(Charge Coupled Devices)、CMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備える。なお、撮像装置5で撮像された動画像データは、記憶装置2等に記憶される。また、動画像は、基本的には、一連の複数のフレームを有して構成され、各フレームに対応する静止画像を有している。
なお、画像検索装置のハードウェア構成は、上述した構成に限られるものではない。例えば、画像検索装置は、各種の装置間で通信を行うためのI/O装置を備えてもよい。例えば、I/O装置は、メモリーカード、USBケーブル等の入出力部、有線、無線等による送受信部である。
FIG. 1A is a diagram illustrating a hardware configuration of the image search apparatus. The image search device includes a CPU (Central Processing Unit) 1, a
The CPU 1 controls the operation of the image search device and executes a program stored in the
The
In the present embodiment, the CPU 1 performs processing according to the procedure of the program stored in the
The
The
The
Note that the hardware configuration of the image search apparatus is not limited to the above-described configuration. For example, the image search device may include an I / O device for performing communication between various devices. For example, the I / O device is an input / output unit such as a memory card or a USB cable, or a transmission / reception unit such as wired or wireless.
図1の(b)は、本実施形態に係る画像検索装置の機能構成を示す図である。画像検索装置の処理及び機能は、映像入力部100、顔シーケンス生成部200、顔シーケンス特徴抽出部300、顔シーケンス記憶部400、及び顔シーケンス検索部500により実現される。
FIG. 1B is a diagram illustrating a functional configuration of the image search apparatus according to the present embodiment. The processing and functions of the image search apparatus are realized by the
映像入力部100は、撮像装置5により撮像された映像に係る動画像データを画像メモリ部210に入力する。なお、映像入力部100は、動画像データを記憶する記憶媒体から動画像データを読み込む構成でもよい。また、映像入力部100は、インターネット等を介してサーバ等に記憶された動画像データを読み込む構成でもよい。
The
顔シーケンス生成部200は、画像メモリ部210、顔検出部220、顔追跡部230、及び代表パターン抽出部240を含んで構成される。
顔シーケンス生成部200は、画像メモリ部210に入力された動画像を解析し、顔が映っている映像区間において各フレームから顔画像(より広義には、被写体画像)を抽出し、顔シーケンス(より広義には、シーケンス)を生成する。
ここで、顔シーケンスとは、連続した映像区間から抽出された顔画像及び抽出された顔画像に関する付帯情報である。付帯情報とは、顔シーケンスの開始タイム及び終了タイム、顔画像を抽出したフレームの番号、顔画像を抽出したフレームにおいて顔画像が切り出された領域の情報等である。
画像メモリ部210は、記憶装置2に設けられる記憶領域であり、映像入力部100から出力された動画像データをフレームごとに一時的に記憶する。
顔検出部220は、動画像データの所定のフレームから顔パターンの検出を行い、検出した結果(検出結果)を顔追跡部230に出力する。
顔追跡部230は、顔検出部220で検出された顔パターンを後続するフレーム中から追跡し、追跡した結果(追跡結果)に基づいて、顔シーケンスを生成し、顔領域の情報、顔シーケンスの区間等を代表パターン抽出部240等に出力する。
代表パターン抽出部240は、顔追跡部230による出力をもとに顔シーケンスを代表する顔画像(代表顔画像)を抽出する。
The face
The face
Here, the face sequence is face information extracted from consecutive video sections and incidental information related to the extracted face image. The supplementary information includes the start time and end time of the face sequence, the number of the frame from which the face image is extracted, information on the area where the face image is cut out from the frame from which the face image is extracted, and the like.
The
The
The
The representative
顔シーケンス特徴抽出部300は、顔状態解析部310及び顔特徴量算出部320を含んで構成される。
顔状態解析部310は、顔シーケンス中の顔画像から顔の類似度による判定に有効な顔画像を抽出するために、顔シーケンス中の各顔画像の顔の状態を解析すると共に、顔特徴量算出部320に解析した結果(解析結果)を出力する。
顔特徴量算出部320は、顔状態解析部310の解析結果から顔の類似度による判定に有効な顔画像について顔特徴量を算出する。更には、顔特徴量算出部320は、算出した顔特徴量に基づいて、顔シーケンスごとに顔シーケンスにおける顔の特徴を最も良く表す顔特徴量を代表顔特徴量として抽出する。
The face sequence
The face
The face feature
顔シーケンス記憶部400は、記憶装置2に設けられる記憶領域である。顔シーケンス記憶部400は、付帯情報、顔特徴量を算出したフレーム、顔特徴量、顔シーケンスを代表する顔画像等を記憶する。
The face
顔シーケンス検索部500は、クエリ入力部510、類似度判定部520、及び表示部530を含んで構成される。
クエリ入力部510は、顔シーケンスを検索するための検索条件(クエリ)に関する入力を受け付ける。
類似度判定部520は、クエリにより指定された顔シーケンスと顔シーケンス記憶部400によって記憶された各顔シーケンスとにおける類似度を算出する。そして、類似度判定部520は、算出した類似度が所定の閾値よりも高いか否かを判定し、高いと判定した類似度の顔シーケンスを表示部530に出力する。
表示部530は、類似度判定部520により出力された顔シーケンスを整理し、顔シーケンス記憶部400に記憶された代表顔画像と共に、整理した顔シーケンスを表示装置4に表示する。
The face
The
The
The
次に、図2を参照して、画像検索装置の動作を説明する。図2は、画像検索装置における処理を示すフローチャートの一例を示す図である。 Next, the operation of the image search apparatus will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of a flowchart illustrating processing in the image search apparatus.
まず、映像入力部100は、画像メモリ部210に入力した動画像データをフレームごとに画像メモリ部210から読み込む(ステップS100)。ここで読み込まれたデータは、例えば8ビットの画素により構成される2次元配列のデータであり、R,G,B,3つの面により構成される。このとき、画像データがMPEG(Moving Picture Experts Group)、JPEG(Joint Photographic Experts Group)等の方式により圧縮されている場合がある。この場合は、画像データを所定の解凍方式に従って解凍し、RGB各画素により構成される画像データとする。
First, the
続いて、検出手段の一例である顔検出部220は、動画像データのフレームから顔パターン(より広義には、被写体パターン)を複数、検出し、検出結果を顔追跡部230に出力する(ステップS200)。
例えば、顔検出部220は、動画像データから所定間隔のフレームごとに顔検出を行う。そこで、図3を参照して、所定間隔のフレームごとに顔検出が行われる例(換言するならば、映像データが解析される際の進捗状況の例)について説明する。
図3に示すように、映像に係る動画像データAは、複数のフレームを有して構成され、この例では、7つのフレームごとに顔パターンの検出が行われる。そして、フレームから切り出された矩形の画像パターンBが顔画像として検出される。
Subsequently, the
For example, the
As shown in FIG. 3, the moving image data A related to a video is configured to have a plurality of frames. In this example, face patterns are detected every seven frames. A rectangular image pattern B cut out from the frame is detected as a face image.
本実施形態では、ニューラル・ネットワークにより画像中の顔パターンを検出する方法(例えば、参考文献1を参照のこと。)を適用した構成を採用する。
そこで、ニューラル・ネットワークにより画像中の顔パターンを検出する方法について説明する。
まず、顔検出部220は、検出の対象とする画像データをメモリに読み込み、顔と照合する所定の領域を読み込まれた画像中から切り出す。そして、顔検出部220は、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み及び閾値が、膨大な顔パターンと非顔パターンとにより予め学習されている。例えば、顔検出部220は、ニューラル・ネットワークの出力が0以上なら顔パターン、それ以外は非顔パターンであると判別する。
そして、顔検出部220は、ニューラル・ネットワークの入力である顔と照合する画像パターンとの切り出し位置を、例えば、図4に示すように画像全域から縦横順次に走査していくことにより、画像中から顔パターンを検出する。また、本実施形態では、様々な大きさの顔パターンの検出に対応するため、顔検出部220は、図4に示すように読み込んだ画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行う構成を採用している。
参考文献1:Rowley et al, "Neural network-based face detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998
In the present embodiment, a configuration in which a method of detecting a face pattern in an image using a neural network (for example, see Reference 1) is employed.
Therefore, a method for detecting a face pattern in an image using a neural network will be described.
First, the
Then, the
Reference 1: Rowley et al, "Neural network-based face detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20, NO.1, JANUARY 1998
なお、画像中から顔パターンを検出する方法は、ニューラル・ネットワークによる方法に限られるものではなく、各種の方式が適用可能であり、他の方法を採用してもよい(例えば、参考文献2参照のこと。)。
参考文献2:Yang et al, "Detecting Faces in Images: A Survey", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24 , NO.1, JANUARY 2002
Note that the method of detecting a face pattern from an image is not limited to the method using a neural network, and various methods are applicable, and other methods may be employed (for example, see Reference 2). Of that.)
Reference 2: Yang et al, "Detecting Faces in Images: A Survey", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24, NO.1, JANUARY 2002
続いて、生成手段の一例である顔追跡部230は、顔検出部220で検出された顔パターンごとに後続するフレーム中から顔パターンを追跡し、追跡した結果を代表パターン抽出部240等に出力する(ステップS300)。
すなわち、顔追跡部230は、所定間隔のフレームで検出された顔パターン(例えば、図3に示す画像パターンB)の夫々について後続するフレームで追跡を行う。追跡した結果、顔追跡部230は、顔画像を抽出したフレームの番号、そのフレームにおける顔画像が切り出された領域の情報等の付帯情報を取得する。更には、顔追跡部230は、時間的に連続した顔画像の集まりを顔シーケンス(例えば、図3に示すシーケンスC)として生成する。換言すると、顔追跡部230は、被写体画像を被写体パターンごとに一連のフレームについて寄せ集めたシーケンスを生成する。
Subsequently, the
That is, the
ここで、図5を参照して、顔シーケンスが生成される構成について説明する。図5は、顔シーケンスを生成する処理に係るフローチャートの一例を示す図である。 Here, a configuration in which a face sequence is generated will be described with reference to FIG. FIG. 5 is a diagram illustrating an example of a flowchart relating to processing for generating a face sequence.
まず、顔追跡部230は、顔パターンに対応する顔画像が切り出された領域の情報をもとに、後続のフレームにおいて顔パターンの探索を行う探索領域を設定する(ステップS301)。顔検出部220において顔パターンを検出したフレームの次のフレームから探索を行う場合には、顔パターンを検出した領域に対して水平位置、垂直位置について所定量だけその中心位置をずらした近傍の矩形領域を顔パターンの探索領域として設定する。なお、さらに次のフレームについて探索を行う場合には、顔追跡部230は、追跡結果に基づいて、すなわち後述の処理において追跡した顔パターンの顔画像が切り出された領域を利用して、同様に新たな探索領域を設定する。
First, the
続いて、顔追跡部230は、探索領域内で切り出された領域における画像と探索する顔パターンに対応する顔画像との相関をもとに顔パターンによる追跡を行う(ステップS302)。すなわち、顔追跡部230は、探索領域として設定された中心位置を中心として探索する顔パターンと同じ大きさの矩形領域を順次切出し、切り出した領域における画像と探索する顔パターンに対応する顔画像との輝度分布をテンプレートとした相関値を算出する。相関値は、2つのパターンの関係の程度を量的に表現した値をいう。そして、顔追跡部230は、探索領域内において相関値が最も高い領域を顔パターンの追跡結果として、その相関値とともに出力する。
なお、本実施形態では、顔追跡部230は、顔パターンの追跡のために輝度分布の相関値を用いるものとして説明を行なったが、RGBごとの画素値分布の相関を用いて顔パターンの追跡を行ってもよい。また、顔追跡部230は、領域内での輝度分布やRGB値のヒストグラム等、画像特徴量の相関を用いて顔パターンの追跡を行ってもよい。
Subsequently, the
In this embodiment, the
続いて、顔追跡部230は、追跡処理で出力された相関値が所定の値以上であるかを判定する(ステップS303)。所定の値以上の場合には、顔追跡部230は、顔検出部220で検出された顔パターンに対応する顔画像と追跡結果に係る顔画像とが類似する確率が高いので正確に追跡できたと判断し、処理をステップS304に移す。他方、顔追跡部230は、所定値以下の場合には、類似する確率が低いので追跡する顔パターンに対応する顔画像がなかったと判断し、追跡処理を終了する。
Subsequently, the
そして、顔追跡部230は、顔パターンによる追跡に係る処理の対象を後続する次のフレームに移し、ステップS301に処理を移す(ステップS304)。
Then, the
したがって、顔検出部220で顔パターンが検出されたフレームの次のフレームの直前のフレームまで繰り返し処理が基本的に行われ、検出した顔パターンごとに顔シーケンスを得ることができる。
このように、本実施形態の顔追跡部230では、顔検出部220で検出された顔パターンごとに後続するフレーム中から顔パターンを探索し、追跡する構成を採用している。しかしながら、例えば、顔追跡部230は、この構成に加えて、顔パターンを検出した前のフレームにおいても顔パターンを探索し、追跡する構成を採用してもよい。また、例えば、顔追跡部230は、上述した構成に加えて又は代えて、動画像から動きベクトルを算出し、動きベクトルを手がかりにして顔パターンの追跡を行う構成を採用してもよい。
Therefore, iterative processing is basically performed up to the frame immediately before the frame next to the frame where the face pattern is detected by the
As described above, the
また、顔追跡部230は、所定の間隔をあけた後のフレームを使って顔パターンの追跡を行ってもよい。この構成によれば、顔の前を何かが横切ること、フラッシュによる影響等によって顔シーケンスが分割され過ぎることを防ぐことができる。
Further, the
また、顔追跡部230は、時間的(或いは、フレームの位置的)に近隣の二つの顔シーケンスの顔特徴の相関を算出し、相関が高い場合は、シーケンスを統合(1つに結合)してもよい。すなわち、顔追跡部230は、統合する前側のシーケンスの開始から後ろ側のシーケンスの終了時までを統合したシーケンスを新たなシーケンス(映像区間)とし、付帯情報も併せて統合する。顔追跡部230は、代表顔画像として、片方の顔シーケンスのものを用いることができる。
以上の顔シーケンスの統合が全ての前後の顔シーケンスについて順次繰り返し行われ、顔シーケンスが統合される。
ただし、顔シーケンスにより表される映像区間が所定の時間以上離れている組については、顔追跡部230は、顔シーケンスの統合の候補としては用いない。また、映像中に人物が複数登場する場合には、複数の顔シーケンスで映像区間が重なる場合が生じ得る。このような場合には、それぞれの顔シーケンスに対応する人物が別の人物と見なせるので、顔追跡部230は、顔シーケンスの統合の候補としては用いない。
In addition, the
The integration of the face sequences described above is sequentially repeated for all the front and back face sequences, and the face sequences are integrated.
However, the
続いて、代表パターン抽出部240は、顔追跡部230の結果をもとに、顔シーケンスを代表する顔画像を抽出する(ステップS400)。すなわち、代表パターン抽出部240は、顔シーケンス内の1つのフレームから顔領域を含む矩形領域を切り出し、顔シーケンス記憶部400に記憶する。代表パターン抽出部240は、切り出す対象とするフレームを、シーケンスの長さを基準としてシーケンスの先頭から所定間隔のフレーム(言い換えるならば所定時間に位置するフレーム)、顔のサイズが最も大きなフレーム等としてもよい。また、代表パターン抽出部240は、切り出す対象とするフレームを、各顔シーケンス内の一部、又は所定の間隔を置いた複数のフレームから顔領域を含む矩形領域を切り出した動画像としてもよい。
また、本実施形態では、生成された顔シーケンス及び代表する顔画像については、インデックスを作成し、検索時に容易にアクセスできる構成を採用する。
Subsequently, the representative
In the present embodiment, an index is created for the generated face sequence and the representative face image, and a configuration that can be easily accessed during search is adopted.
続いて、顔シーケンス特徴抽出部300は、顔追跡部230で生成された顔シーケンスをもとに、顔シーケンスの特徴抽出を行う(ステップS500)。
Subsequently, the face sequence
ここで、図6及び図7を参照して、顔シーケンスの特徴抽出について説明する。図6は、顔シーケンスを解析して特徴抽出する処理に係るフローチャートを示す図である。図7は、図6の各ステップに沿って顔シーケンスの特徴抽出を行う際の進捗状況を示す図である。 Here, the feature extraction of the face sequence will be described with reference to FIGS. FIG. 6 is a diagram illustrating a flowchart according to a process of analyzing a face sequence and extracting features. FIG. 7 is a diagram illustrating a progress situation when performing feature extraction of the face sequence along each step of FIG.
まず、解析手段の一例である顔状態解析部310は、顔シーケンス中の各顔画像の顔(被写体)の状態を解析し、解析した結果を顔特徴量算出部320に出力する(ステップS501)。顔状態解析部310によれば、顔画像の顔(より広義には、被写体画像の被写体)の状態を解析することで、各顔シーケンス中の顔画像から顔の類似度による判定に有効な顔特徴量を抽出することができる。
顔の類似度による判定をより正確にするためには、顔画像の中に目、口、鼻等の顔の各パーツが存在することが重要である。すなわち、顔が横方向や斜めを向いているものよりも正面を向いているものの方が、目、口、鼻等を正確に識別できるので、顔の特徴を正確に表現しており、顔の類似度による判定に有効である。
したがって、本実施形態では、顔状態解析部310が顔シーケンス中の各顔画像の顔の向きを検出する構成を有する。なお、図7には、顔シーケンスの各顔画像Aに対して顔の向きBが示されている。
他方、例えば、顔状態解析部310は、ニューラル・ネットワークによる顔判別器と同じ構成の複数の顔判別器を有してもよい。ただし、各顔判別器の判別のためのパラメータを顔の向きごとにサンプル学習によりチューニングし、設定しておく。この構成においては、複数の顔判別器のうち、もっとも出力の高い、すなわち尤度の高い顔判別器に対応した顔の向きを顔状態解析部310による解析結果とする。
なお、本実施形態では、顔状態解析部310は、顔の向きを顔の状態の解析に用いる構成を採用しているが、例えば、顔画像から目、口、鼻等のパーツを個別に探索する手段を設けて、夫々の存在の可否を解析する構成を採用してもよい。
また、目が開いている場合は、目が閉じている場合よりも顔の類似度を正確に判定できる。したがって、顔状態解析部310は、上述した構成に加えて又は代えて、目が開いているか、目が閉じているかを判定する手段を設けて、目の開閉の状態を解析する構成を採用してもよい。
また、顔に対する照明状態がよく全体的に肌部分が明るく撮影されている場合には、部分的に陰がある場合よりも顔の類似度を正確に判定できる。したがって、顔状態解析部310は、上述した構成に加えて又は代えて、顔の肌部分の明るさの分布から顔に対する照明の状態を判定する手段を設けて、照明の状態を解析する構成を採用してもよい。
First, the face
In order to make the determination based on the similarity of the face more accurate, it is important that each part of the face such as eyes, mouth, nose, etc. exists in the face image. In other words, the face facing forward rather than the face facing sideways or diagonally can accurately identify the eyes, mouth, nose, etc. This is effective for determination based on similarity.
Therefore, in this embodiment, the face
On the other hand, for example, the face
In the present embodiment, the face
Further, when the eyes are open, the similarity of the face can be determined more accurately than when the eyes are closed. Therefore, in addition to or instead of the above-described configuration, the face
In addition, when the face is well illuminated and the skin part is brightly photographed as a whole, the similarity of the face can be determined more accurately than when there is a partial shadow. Therefore, in addition to or instead of the above-described configuration, the face
続いて、特徴量算出手段の一例である顔特徴量算出部320は、顔状態解析部310での解析結果に基づいて顔の類似度による判定に有効な顔画像について顔特徴量を算出する(ステップS502)。
すなわち、顔特徴量算出部320は、解析結果から顔の類似度による判定に有効な顔画像のみに対して顔特徴量を算出する。例えば、顔特徴量算出部320は、予め定められた状態にある正面の顔画像のみに絞り込んで顔特徴量を算出する。
より具体的に説明すると、顔特徴量算出部320は、絞り込んだ顔画像から顔の判定に有効な顔特徴点の探索を行う。例えば、顔特徴量算出部320は、顔の特徴点として、目尻、口の両端、鼻の頂点等をパターン照合に基づき抽出する。そして、顔特徴量算出部320は、各特徴点において局所輝度分布をガボールウェーブレット変換により顔特徴量として抽出し、ベクトル化する。すなわち、図7で示すように正面の顔画像に対して顔の特徴ベクトルC(顔特徴量)が夫々算出される。
Subsequently, the face feature
That is, the face feature
More specifically, the face feature
ここで、顔特徴量を算出する方法については、公知の方法を採用する(例えば、参考文献3を参照のこと。)。なお、顔特徴量を算出する方法については、参考文献3に記載の方法に限定されるものではなく、ローカル記述子を各特徴点で算出する方法(例えば、参考文献4参照のこと。)を採用してもよいし、顔画像の輝度分布のヒストグラム等を用いた単純な方法を採用してもよい。
参考文献3:Wiskott et al, "Face Recognition by Elastic Bunch Graph Matching", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.19 , NO.7, JULY 1997
参考文献4:Schmid and Mohr, "Local Greyvalue Invariants for Image Retrieval", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.19 , NO.5, MAY 1997
Here, as a method for calculating the facial feature amount, a known method is adopted (for example, see Reference 3). Note that the method for calculating the face feature amount is not limited to the method described in
Reference 3: Wiskott et al, "Face Recognition by Elastic Bunch Graph Matching", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.19, NO.7, JULY 1997
Reference 4: Schmid and Mohr, "Local Grayvalue Invariants for Image Retrieval", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.19, NO.5, MAY 1997
続いて、顔特徴量算出部320は、顔シーケンスを代表する代表顔特徴量を抽出するために、算出した各顔特徴量をクラスタリングしてクラスタを複数作成する(ステップS503)。
例えば、顔特徴量算出部320は、クラスタリングに、顔シーケンスから算出された複数の顔特徴ベクトル(顔特徴量)を入力として所定のクラスタ数においてK平均法(K-means法)を適用する。
Subsequently, the face feature
For example, the face feature
続いて、代表特徴量抽出手段の一例である顔特徴量算出部320は、クラスタリングの結果に基づいて、顔シーケンスの顔特徴を最も良く表す顔特徴量を代表顔特徴量として抽出する(ステップS504)。
すなわち、顔特徴量算出部320は、顔特徴ベクトルが相対的に多く含まれるクラスタ(例えば、最も顔特徴ベクトルのサンプル数が多いクラスタ)を主クラスタとし、主クラスタ内の顔特徴ベクトルの平均ベクトルを算出して、代表顔特徴量とする。
例えば、図8で示すように、複数の顔特徴ベクトルBに基づいて主クラスタが決定され、主クラスタ内の顔特徴ベクトルの平均ベクトル(代表顔特徴量C)が得られる。ここで、代表顔特徴量として主クラスタの平均ベクトルを抽出するようにすると、顔特徴量を任意に一つサンプリングする場合に比べて、各顔画像に個別に含まれるノイズの影響に強い顔特徴量を抽出できる効果がある。
Subsequently, the face feature
That is, the face feature
For example, as shown in FIG. 8, a main cluster is determined based on a plurality of face feature vectors B, and an average vector (representative face feature amount C) of face feature vectors in the main cluster is obtained. Here, if the average vector of the main cluster is extracted as the representative face feature amount, the face feature is more resistant to the influence of noise contained in each face image than when one face feature amount is arbitrarily sampled. There is an effect that the amount can be extracted.
続いて、顔特徴量算出部320は、算出された顔特徴量及び抽出された代表顔特徴量を顔シーケンス記憶部400に記憶する(ステップS600)。このとき、抽出された代表顔特徴量については、代表パターン抽出部240で抽出された顔画像と整合を取ったインデックスが作成される構成を採用する。この構成によれば、検索時には、代表パターン抽出部240で抽出された顔画像及び代表顔特徴量に容易にアクセスすることができる。
Subsequently, the face feature
続いて、クエリ入力部510は、顔シーケンスを探すための検索条件の入力を受け付ける(ステップS700)。より具体的には、クエリ入力部510は、顔画像の少なくとも1つが関連付けられた顔シーケンス(すなわち、検索条件)のユーザーによる指定を受け付ける。
Subsequently, the
ここで、図9を参照して、検索条件の入力について説明する。図9は、検索条件(クエリ)を入力するためのユーザーインターフェースの表示例を示す図である。
図9には、顔シーケンス記憶部400で記憶されている顔シーケンスを映像のタイトルごとにグルーピングして、各顔シーケンスの代表顔画像が入力ダイアログウインドウ800に一覧表示される例が示されている。このとき、顔シーケンスが映像中に占める映像区間等を示してもよい。ユーザーは、この一覧表示からクエリとなる顔シーケンスを1つ選ぶことになる。
Here, referring to FIG. 9, input of search conditions will be described. FIG. 9 is a diagram illustrating a display example of a user interface for inputting a search condition (query).
FIG. 9 shows an example in which the face sequences stored in the face
図9において、タイトル801は、映像のタイトルを示す情報である。タイトルが無い場合には、撮影時刻や録画時刻等を表示する。代表顔画像802は、顔シーケンスの代表顔画像である。選択領域803は、マウスカーソル804により代表顔画像が選択された状態を示す。なお、ユーザーは、マウスカーソル804を代表顔画像802の上でクリックすることによって、代表顔画像802を選択した状態にすることができる。ただし、本実施形態では、選択した状態にできる代表顔画像は1つであり、新たな選択を行うと、それまで選択した状態だった代表顔画像は非選択の状態になる。
スライダー805は、縦エレベーターである。ユーザーは、マウスカーソル804をスライダー805の上でドラッグして縦方向に画面をスクロールさせることで、1画面で表示しきれない代表顔画像を表示することができる。
検索実行ボタン806は、顔シーケンスの検索を実行するためのボタンである。
なお、クエリによる検索の結果としては、顔シーケンスに限られるものではなく、顔画像を検索の結果としてもよい。この場合は、顔検出部220によって顔領域が検出され、検出された顔領域において顔特徴量算出部320によって特徴量が算出され、ベクトル化されることで、検索対象の代表顔画像との類似度を算出することができる。
また、顔シーケンス、顔シーケンスが属する映像のタイトル、映像のキーワード、記録日時等、他の付帯情報と組み合わせてクエリを設定し、類似度判定部520が類似度判定を行う顔シーケンスを絞り込んでもよい。
In FIG. 9, a
The
The search execution button 806 is a button for executing a face sequence search.
Note that the search result by the query is not limited to the face sequence, and a face image may be the search result. In this case, a face area is detected by the
In addition, a query may be set in combination with other auxiliary information such as a face sequence, a title of a video to which the face sequence belongs, a video keyword, a recording date, and the like, and the
続いて、算出手段の一例である類似度判定部520は、クエリの対象となる顔シーケンスと、顔シーケンス記憶部400により記憶されている各顔シーケンスとの類似度を算出する。すなわち、類似度判定部520は、ユーザーにより指定された顔シーケンスに関連付けられた顔画像と、生成された顔シーケンスを構成する顔画像との類似度を算出する。他方、抽出手段の一例である類似度判定部520は、類似度が基準を満たす(換言するならば、所定の閾値よりも類似度が高い)顔画像が含まれる顔シーケンスに係る情報を抽出し、抽出した情報を表示部530に出力する(ステップS800)。なお、シーケンスを抽出する処理は、類似度判定部520により行われる構成に限られるものではなく、新たな抽出部を設けて行われてもよい。ここで、図10には、類似度判定部520における処理の概要が示されている。
Subsequently, the
本実施形態では、顔シーケンス間の類似度については、各顔シーケンスの複数の顔特徴量間での類似度が最大のものを用いる。ただし、類似度が最大となるものを用いる構成に限られるものではなく、類似度の平均値を用いてもよい。すなわち、類似度判定部520は、ステップS502で算出された顔特徴量と各顔シーケンス(検索条件)に関連付けられた顔画像の顔特徴量との相関に基づいて類似度を算出する。なお、顔特徴量間での類似度は、顔特徴ベクトル同士のユークリッド距離の逆数を用いる。
また、本実施形態では、顔シーケンス間の類似度を、クエリを設定した後に計算しているが、予め顔シーケンス間の類似度を算出して相関の高い顔シーケンスを記憶しておき、クエリが設定されたとき、又は検索が実行されたときに、これを利用してもよい。
In the present embodiment, as the similarity between face sequences, the one having the maximum similarity between a plurality of face feature amounts of each face sequence is used. However, the configuration is not limited to the configuration using the maximum similarity, and an average value of similarities may be used. That is, the
In this embodiment, the similarity between the face sequences is calculated after the query is set. However, the similarity between the face sequences is calculated in advance to store a highly correlated face sequence. This may be used when set or when a search is performed.
なお、顔シーケンス間の類似度の算出については、各顔シーケンスの複数の顔特徴量を用いる構成に加えて又は代えて、顔シーケンスの代表顔特徴量を用いる構成を採用してもよい。例えば、類似度判定部520は、クエリの対象となる顔シーケンスの各顔特徴量と、顔シーケンス記憶部400により記憶されている各顔シーケンスの代表顔特徴量との類似度が最大のものを類似度として用いる。すなわち、類似度判定部520は、ステップS504で抽出された代表顔特徴量と各顔シーケンス(検索条件)に関連付けられた顔画像の顔特徴量との相関に基づいて類似度を算出する。
For calculating the similarity between face sequences, a configuration using the representative face feature values of the face sequence may be employed in addition to or instead of the configuration using the plurality of face feature values of each face sequence. For example, the
これらを踏まえると、類似度判定部520は、ユーザーにより指定された顔シーケンスに関連付けられた顔画像が含まれる顔シーケンスを検索する検索手段の一例である。
Based on these, the
続いて、出力手段の一例である表示部530は、類似度判定部520の結果を整理して表示装置4に表示する(ステップS900)。例えば、表示部530は、抽出した顔シーケンスの付帯情報(フレームの情報)に基づいて顔シーケンスに対応する映像区間(映像区間情報)等を表示する。
Subsequently, the
また、表示装置4で表示される内容は、映像区間と対応付けがされた顔シーケンス記憶部400で記憶された代表顔画像(顔シーケンスを構成する顔画像のうちの一の顔画像)等である。ここで、顔シーケンスに係る表示の例を図11及び図12に示す。
図11において、表示部530は、映像中の各顔シーケンスに対応する映像区間Cを顔シーケンス記憶部400で記憶された代表顔画像Dと共に表示装置4に表示する。動画像データAでは、所定時間間隔でフレームのサムネールBが表示されている。また、映像区間Cは、顔シーケンスの解析結果に基づく映像区間の表示の例である。表示部530が映像区間Cを表示することによりユーザーは、映像中の人物の出現区間が把握できるようになる。また、代表顔画像Dは、代表顔画像である。表示部530が代表顔画像を表示することにより、ユーザーは、映像区間Cを代表する顔を確認できる。
The content displayed on the
In FIG. 11, the
他方、図12において、表示部530は、検索結果ウインドウ900を表示装置4に表示する。タイトル901は、映像のタイトルを示す情報である。タイトルが無い場合には、表示部530は、撮影時刻、録画時刻等を表示する。バー902は、映像の時間全体を表すバーである。映像区間903は、映像において顔シーケンスが占める映像区間を示す。表示部530がバー902及び映像区間903を表示することにより、ユーザーは、映像中の人物の出現区間を把握できるようになる。代表顔画像904は、代表顔画像である。表示部530が代表顔画像を表示することにより、ユーザーは、映像区間を代表する顔を確認できる。なお、代表顔画像904は、映像区間903との関連が認識できるように所定の範囲内(例えば、映像区間903とは異なる他の映像区間の中心からの距離よりも映像区間903の中心からの距離の方が近い位置)に設けられることが好適である。
On the other hand, in FIG. 12, the
なお、以上の実施形態では、画像検索装置は、被写体パターンとして人物の顔を検出し、顔シーケンスを生成する構成を採用したが、映像の内容が把握できるその他の被写体のパターンを生成する構成を採用してもよい。 In the above embodiment, the image search apparatus employs a configuration that detects a human face as a subject pattern and generates a face sequence. However, the image search device has a configuration that generates a pattern of another subject that can grasp the content of the video. It may be adopted.
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
<Other embodiments>
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.
上述した実施形態の構成によれば、映像中から精度良く所定の被写体が映っている映像区間を単位とする検索ができるので、映像の検索、映像の編集の効率が向上する。また、同一人物の複数の画像情報を使って照合を行うので精度が向上する。
また、上述した各実施形態によれば、映像中から顔を検出し、複数のフレームに渡って検出した顔画像を1つの顔シーケンスとし、顔シーケンスを単位とする検索ができるので、映像の検索、映像の編集の効率が向上する。また、同一人物の複数の画像情報を使って類似度による判定を行うので精度が向上する。
According to the configuration of the above-described embodiment, a search can be performed in units of a video section in which a predetermined subject is accurately reflected in the video, so that the efficiency of video search and video editing is improved. In addition, accuracy is improved because a plurality of pieces of image information of the same person are used for collation.
Further, according to each of the above-described embodiments, a face can be detected from a video, a face image detected over a plurality of frames can be set as one face sequence, and search can be performed in units of face sequences. , Video editing efficiency is improved. Further, since the determination based on the similarity is performed using a plurality of pieces of image information of the same person, the accuracy is improved.
また、上述した実施形態によれば、多くの映像区間から精度良く所定の被写体が映っている映像区間単位での検索ができるようになる。このため、映像検索の効率が向上する。また、単位映像区間中の被写体の画像情報のうち、良好なものを抽出し映像区間検索の対象として使って照合を行うので、被写体の映った映像区間での人物判定の精度をより向上することができる。 Further, according to the above-described embodiment, it is possible to perform a search in units of video sections in which a predetermined subject is accurately reflected from many video sections. For this reason, the efficiency of video search is improved. In addition, since the best image information of the subject in the unit video section is extracted and used as the target of the video section search, collation is performed, so that the accuracy of person determination in the video section in which the subject is shown is further improved. Can do.
また、上述した実施形態によれば、単位映像区間中の被写体の画像情報のうち、ぞれぞれのシーケンスを代表する特徴量でシーケンスの類似度を照合する場合、被写体の映った映像区間での人物判定をより安定して行うことができる。 Further, according to the above-described embodiment, when the similarity of the sequence is compared with the feature amount representing each sequence among the image information of the subject in the unit video section, the video section in which the subject is captured is used. The person determination can be performed more stably.
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the present invention described in the claims.・ Change is possible.
100 映像入力部、200 顔シーケンス生成部、300 顔シーケンス特徴抽出部、400 顔シーケンス記憶部、500 顔シーケンス検索部 100 video input unit, 200 face sequence generation unit, 300 face sequence feature extraction unit, 400 face sequence storage unit, 500 face sequence search unit
Claims (6)
前記複数の被写体パターンの各々に対応する前記動画像における被写体画像を、前記被写体パターンごとに一連のフレームについて集めたシーケンスを生成する生成手段と、
前記生成手段で生成されたシーケンスを構成する複数の被写体画像の各被写体画像の状態に基づいて、それぞれの被写体画像が被写体の類似度判定に有効か否かを判定する判定手段と、
前記複数の被写体画像のうち、前記判定手段により有効と判定された被写体画像の特徴量を算出する特徴量算出手段と、
前記シーケンスに対して前記特徴量算出手段により算出された特徴量を記憶部に記憶する記憶手段と、
検索条件として与えられたシーケンスに対する特徴量と、前記記憶部に記憶された各シーケンスに対する特徴量との類似度を算出する類似度算出手段と、
前記記憶部に記憶されたシーケンスのうちから前記類似度算出手段で算出された類似度に基づいてシーケンスを抽出する抽出手段と、
前記抽出手段で抽出されたシーケンスに対応する映像区間情報を検索結果として出力する出力手段と、
を備える、画像検索装置。 Detecting means for detecting a plurality of subject patterns from a moving image having a plurality of frames;
Generating means for generating a sequence in which subject images in the moving image corresponding to each of the plurality of subject patterns are collected for a series of frames for each subject pattern;
Determination means for determining whether or not each of the subject images is effective for determining the similarity of the subject based on the state of each of the subject images of the plurality of subject images constituting the sequence generated by the generation means;
A feature amount calculating means for calculating a feature amount of the subject image determined to be valid by the determining means among the plurality of subject images;
Storage means for storing the feature quantity calculated by the feature quantity calculation means for the sequence in a storage unit;
Similarity calculation means for calculating the similarity between the feature amount for the sequence given as a search condition and the feature amount for each sequence stored in the storage unit;
Extraction means for extracting a sequence based on the similarity calculated by the similarity calculation means from the sequences stored in the storage unit;
Output means for outputting video section information corresponding to the sequence extracted by the extraction means as a search result;
An image search device comprising:
前記記憶手段は、前記シーケンスに対して更に、前記代表特徴量生成手段により生成された代表特徴量を前記記憶部に記憶し、
前記類似度算出手段は、前記記憶部に記憶された各シーケンスに対する代表特徴量と、前記検索条件として与えられたシーケンスに対する特徴量との相関に基づいて類似度を算出する、請求項1又は2記載の画像検索装置。 Based on the feature quantity distribution calculated by the feature quantity calculation means, further comprising representative feature quantity generation means for generating a representative feature quantity representative of the sequence;
The storage means further stores the representative feature amount generated by the representative feature amount generation means in the storage unit with respect to the sequence,
The similarity calculation means calculates a similarity based on the correlation between the feature quantity and the representative feature quantity for each sequence stored in the storage unit, for a sequence given as the search condition, according to claim 1 or 2 The image search apparatus described.
複数のフレームを有する動画像より複数の被写体パターンを検出する検出ステップと、
前記複数の被写体パターンの各々に対応する前記動画像における被写体画像を、前記被写体パターンごとに一連のフレームについて集めたシーケンスを生成する生成ステップと、
前記生成ステップで生成されたシーケンスを構成する複数の被写体画像の各被写体画像の状態に基づいて、それぞれの被写体画像が被写体の類似度判定に有効か否かを判定する判定ステップと、
前記複数の被写体画像のうち、前記判定ステップにより有効と判定された被写体画像の特徴量を算出する特徴量算出ステップと、
前記シーケンスに対して前記特徴量算出ステップにより算出された特徴量を記憶部に記憶する記憶ステップと、
検索条件として与えられたシーケンスに対する特徴量と、前記記憶部に記憶された各シーケンスに対する特徴量との類似度を算出する類似度算出ステップと、
前記記憶部に記憶されたシーケンスのうちから前記類似度算出ステップで算出された類似度に基づいてシーケンスを抽出する抽出ステップと、
前記抽出ステップで抽出されたシーケンスに対応する映像区間情報を検索結果として出力する出力ステップと、
を含む、画像検索方法。 An image search method executed by an image search device,
A detection step of detecting a plurality of subject patterns from a moving image having a plurality of frames;
Generating a sequence of collecting subject images in the moving image corresponding to each of the plurality of subject patterns for a series of frames for each subject pattern;
A determination step of determining whether or not each subject image is effective in determining the similarity of the subject based on the state of each subject image of the plurality of subject images constituting the sequence generated in the generation step;
A feature amount calculating step of calculating a feature amount of the subject image determined to be valid by the determination step among the plurality of subject images;
A storage step of storing in the storage unit the feature amount calculated by the feature amount calculation step for the sequence;
A similarity calculation step of calculating a similarity between a feature amount for a sequence given as a search condition and a feature amount for each sequence stored in the storage unit;
An extraction step for extracting a sequence based on the similarity calculated in the similarity calculation step from the sequences stored in the storage unit;
An output step for outputting video section information corresponding to the sequence extracted in the extraction step as a search result;
Image search method including
前記複数の被写体パターンの各々に対応する前記動画像における被写体画像を、前記被写体パターンごとに一連のフレームについて集めたシーケンスを生成する生成ステップと、
前記生成ステップで生成されたシーケンスを構成する複数の被写体画像の各被写体画像の状態に基づいて、それぞれの被写体画像が被写体の類似度判定に有効か否かを判定する判定ステップと、
前記複数の被写体画像のうち、前記判定ステップにより有効と判定された被写体画像の特徴量を算出する特徴量算出ステップと、
前記シーケンスに対して前記特徴量算出ステップにより算出された特徴量を記憶部に記憶する記憶ステップと、
検索条件として与えられたシーケンスに対する特徴量と、前記記憶部に記憶された各シーケンスに対する特徴量との類似度を算出する類似度算出ステップと、
前記記憶部に記憶されたシーケンスのうちから前記類似度算出ステップで算出された類似度に基づいてシーケンスを抽出する抽出ステップと、
前記抽出ステップで抽出されたシーケンスに対応する映像区間情報を検索結果として出力する出力ステップと、
をコンピュータに実行させるためのプログラム。 A detection step of detecting a plurality of subject patterns from a moving image having a plurality of frames;
Generating a sequence of collecting subject images in the moving image corresponding to each of the plurality of subject patterns for a series of frames for each subject pattern;
A determination step of determining whether or not each subject image is effective in determining the similarity of the subject based on the state of each subject image of the plurality of subject images constituting the sequence generated in the generation step;
A feature amount calculating step of calculating a feature amount of the subject image determined to be valid by the determination step among the plurality of subject images;
A storage step of storing in the storage unit the feature amount calculated by the feature amount calculation step for the sequence;
A similarity calculation step of calculating a similarity between a feature amount for a sequence given as a search condition and a feature amount for each sequence stored in the storage unit;
An extraction step for extracting a sequence based on the similarity calculated in the similarity calculation step from the sequences stored in the storage unit;
An output step for outputting video section information corresponding to the sequence extracted in the extraction step as a search result;
A program that causes a computer to execute .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009202800A JP5538781B2 (en) | 2009-09-02 | 2009-09-02 | Image search apparatus and image search method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009202800A JP5538781B2 (en) | 2009-09-02 | 2009-09-02 | Image search apparatus and image search method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011053952A JP2011053952A (en) | 2011-03-17 |
JP5538781B2 true JP5538781B2 (en) | 2014-07-02 |
Family
ID=43942882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009202800A Active JP5538781B2 (en) | 2009-09-02 | 2009-09-02 | Image search apparatus and image search method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5538781B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10664705B2 (en) | 2014-09-26 | 2020-05-26 | Nec Corporation | Object tracking apparatus, object tracking system, object tracking method, display control device, object detection device, and computer-readable medium |
JP6488647B2 (en) * | 2014-09-26 | 2019-03-27 | 日本電気株式会社 | Object tracking device, object tracking system, object tracking method, display control device, object detection device, program, and recording medium |
KR101640317B1 (en) * | 2014-11-20 | 2016-07-19 | 소프트온넷(주) | Apparatus and method for storing and searching image including audio and video data |
CN109299692A (en) * | 2018-09-26 | 2019-02-01 | 深圳壹账通智能科技有限公司 | A kind of personal identification method, computer readable storage medium and terminal device |
WO2022180766A1 (en) * | 2021-02-26 | 2022-09-01 | 日本電気株式会社 | Video data processing apparatus, method, and non-transitory computer-readable medium |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001118075A (en) * | 1999-07-09 | 2001-04-27 | Toshiba Corp | Method of describing object area information, device of producing the same, method of processing video information, and information processor |
CN100474339C (en) * | 2004-08-03 | 2009-04-01 | 松下电器产业株式会社 | Human identification apparatus |
JP4973188B2 (en) * | 2004-09-01 | 2012-07-11 | 日本電気株式会社 | Video classification device, video classification program, video search device, and video search program |
JP2006217046A (en) * | 2005-02-01 | 2006-08-17 | Olympus Corp | Video index image generator and generation program |
JP2009123095A (en) * | 2007-11-16 | 2009-06-04 | Oki Electric Ind Co Ltd | Image analysis device and image analysis method |
-
2009
- 2009-09-02 JP JP2009202800A patent/JP5538781B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011053952A (en) | 2011-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7317919B2 (en) | Appearance search system and method | |
JP6204199B2 (en) | Image quality assessment | |
Jiang et al. | Multi-layered gesture recognition with Kinect. | |
US8971585B2 (en) | Image processing apparatus for retrieving object from moving image and method thereof | |
JP5202148B2 (en) | Image processing apparatus, image processing method, and computer program | |
US11017215B2 (en) | Two-stage person searching method combining face and appearance features | |
US8270806B2 (en) | Information processing apparatus and method of controlling same | |
JP6532190B2 (en) | Image search apparatus, image search method | |
JP2004199669A (en) | Face detection | |
JP5361524B2 (en) | Pattern recognition system and pattern recognition method | |
WO2010119410A1 (en) | Key frames extraction for video content analysis | |
JP2004192637A (en) | Face detection | |
US20100118205A1 (en) | Information processing apparatus and method of controlling same | |
Liu et al. | Micro-expression recognition using advanced genetic algorithm | |
JP5538781B2 (en) | Image search apparatus and image search method | |
Bekhet et al. | Gender recognition from unconstrained selfie images: a convolutional neural network approach | |
Duan et al. | Video shot boundary detection based on feature fusion and clustering technique | |
e Souza et al. | Survey on visual rhythms: A spatio-temporal representation for video sequences | |
JP4449483B2 (en) | Image analysis apparatus, image analysis method, and computer program | |
Rind et al. | Identification of Human & various objects through Image Processing based system | |
WO2004068414A1 (en) | Emerging position display of marked object | |
Chengeta et al. | Video sequencing based facial expression detection with 3d local binary pattern variants | |
Moskvin et al. | Using principles of fractal image compression for complexity estimation of the face recognition problem | |
Hipparagi et al. | Artist Based Video Recommendation System using Machine Learning | |
Akinwande et al. | A Comparative Study of Age Estimation Using Edge Detection and Regression Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130820 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5538781 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140430 |