JP4232388B2 - 映像検索装置及びそれに用いる映像検索方法並びにそのプログラム - Google Patents
映像検索装置及びそれに用いる映像検索方法並びにそのプログラム Download PDFInfo
- Publication number
- JP4232388B2 JP4232388B2 JP2002154891A JP2002154891A JP4232388B2 JP 4232388 B2 JP4232388 B2 JP 4232388B2 JP 2002154891 A JP2002154891 A JP 2002154891A JP 2002154891 A JP2002154891 A JP 2002154891A JP 4232388 B2 JP4232388 B2 JP 4232388B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search target
- similar
- search
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
【発明の属する技術分野】
本発明は映像検索装置及びそれに用いる映像検索方法並びにそのプログラムに関し、特に画像データから指定した物体及び人物を検索する方法に関する。
【0002】
【従来の技術】
従来、大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合、限定された条件下の画像のみを用いて認識用の辞書を構築すると、物体や人物が、その向きや照明条件等によって見え方が異なる。そのため、本来ならば、検索すべき多くの対象を見落としてしまう場合がある。
【0003】
この問題を防ぐ対策の一つとして、見え方の様々な画像を数多く用いて辞書を構築する方法が考えられる。ところが、立体的な対象物の見え方は無数にあり、予め全ての見え方を登録することは不可能である。そこで、有限個の見え方の画像に基づいて、特徴量空間上で内挿や外挿を行うことによって、全ての見え方を考慮した認識方法が提案されている。この方法については、特開平8−153198号公報等に開示されている。しかしながら、一般的に、高精度に内挿や外挿を行うことは非常に困難であり、検索対象ではない物体や人物が検索される(誤検索)場合がある。
【0004】
一方、文字認識の分野において誤認識を抑制する方法として、認識対象と類似した文字を予め認識用辞書に登録しておくという方法がある。この方法については、特開平10−235299号公報等に開示されている。
【0005】
この方法を物体や人物の検索に適用することで、誤検索を抑制することが考えられる。例えば、顔画像を用いた人物検索の場合、ある人物の顔と似ている人物の顔とについて、様々な見え方の画像を登録するという方法が容易に考えられる。
【0006】
従来の映像検索システムの構成を図20に示す。図20において、従来の映像検索システムは検索対象画像入力手段91と、類似画像(#1〜#N)入力手段92−1〜92−Nと、検索対象画像クラスタリング手段93と、類似画像(#1〜#N)クラスタリング手段94−1〜94−Nと、検索対象領域設定手段95と、類似画像 (#1〜#N)領域設定手段96−1〜96−Nと、辞書出力手段97とから構成されている。
【0007】
顔認識を用いて人物検索するシステムを例にとり、図20に示すシステムの動作について説明する。まず、このシステムでは類似画像(#1〜#N)入力手段92−1〜92−Nにおいて人物毎に画像を選別し、類似画像(#1〜#N)クラスタリング手段94−1〜94−Nによって顔の向きや照明条件等、画像の見え方毎に特徴量空間上でクラスタリングする。
【0008】
その後に、このシステムでは類似画像(#1〜#N)領域設定手段96−1〜96−Nによってクラスタ間を補間し、それをその人物の領域と定める。このシステムでは上記の処理を全ての類似した人物に対して行う。
【0009】
【発明が解決しようとする課題】
上述した従来の映像検索方法では、誤検索率を小さくするために、できるだけ多くの類似した画像を登録する必要があり、入力として想定されている対象物体または対象人物の数が大きくなるにしたがって、登録すべき画像の数が急激に大きくなるという問題がある。
【0010】
例えば、照合時に、入力画像と全登録画像との比較を行った場合、登録した画像の数が増えると、その計算量も同時に大きくなる。画像そのものや画像毎の特徴量を辞書に保存する場合、画像枚数の増大に伴って、登録に必要な記憶容量も増大する。複数の画像をまとめた場合や、複数の画像から出現確率関数等を求めて入力画像がどのカテゴリに属するかどうかを判断する場合にも、程度の差こそあれ、上記と同様な問題が存在する。
【0011】
また、1つの対象に対して様々な向きや照明条件の画像を選別するには、人手による確認が不可欠であり、対象となる人物が増大するにしたがって、必要な労力も増大する。これらの問題点は、アプリケーションにおいてその処理が実用的でなくなるという事態を引き起こす場合がある。
【0012】
そこで、本発明の目的は上記の問題点を解消し、検索の精度を維持しつつ、辞書に登録する画像の数を抑制することができ、登録の手間を低減することができる映像検索装置及びそれに用いる映像検索方法並びにそのプログラムを提供することにある。
【0013】
【課題を解決するための手段】
本発明による映像検索装置は、大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する抽出手段と、出力する辞書に前記検索対象の画像及び前記抽出手段で抽出された画像を登録して出力する手段とを備え、
前記抽出手段は、外部から入力されかつ検索対象を含む画像を用いて予め定めた特徴量空間上の前記検索対象の画像が張る範囲である検索対象領域を決める検索対象領域設定手段と、外部から入力されかつ前記検索対象の画像を含まない学習画像全てについて前記検索対象領域との特徴量空間上の距離を求める類似度計算手段と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記類似画像が前記特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段とを含んでいる。
【0014】
本発明による映像検索方法は、大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索方法であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第1のステップと、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第2のステップとを備え、
前記第1のステップは、外部から入力されかつ検索対象を含む画像を用いて予め定めた特徴量空間上の前記検索対象の画像が張る範囲である検索対象領域を決めるステップと、外部から入力されかつ前記検索対象を含まない学習画像全てについて前記検索対象領域との特徴量空間上の距離を求めるステップと、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記類似画像が前記特徴量空間上に張る領域を類似画像領域とするステップとを含んでいる。
【0015】
本発明によるプログラムは、大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置内のコンピュータに実行させるプログラムであって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第1の処理と、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第2の処理とを含み、
前記第1の処理は、外部から入力されかつ検索対象を含む画像を用いて予め定めた特徴量空間上の前記検索対象の画像が張る範囲である検索対象領域を決める処理と、外部から入力されかつ前記検索対象を含まない学習画像全てについて前記検索対象領域との特徴量空間上の距離を求める処理と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記類似画像が前記特徴量空間上に張る領域を類似画像領域とする処理とを含むことを特徴とする。
【0016】
すなわち、本発明の映像検索装置は、大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する際に、出力する辞書に誤検索抑制用に検索対象の画像及び特徴量空間上近い画像を登録している。
【0017】
このため、本発明の映像検索装置では、検索精度を低下させることなく、登録画像数を削減することが可能となり、その結果、照合時間を短縮し、必要な記憶容量を低減し、登録画像確認の労力を大幅に削減することが可能となる。
【0018】
また、本発明の映像検索装置では、類似画像であるかどうかを自動的に判断しているため、画像選択の労力についても削減することが可能となる。
【0019】
より具体的に説明すると、本発明の第1の映像検索装置は、外部の検索対象画像入力手段から入力される検索対象が含まれている画像を用いて予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決める検索対象領域設定手段と、外部の非検索対象画像入力手段から入力される検索対象を含まない学習画像全てについて検索対象領域との特徴量空間上の距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ類似画像が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、検索対象領域と類似画像領域とを登録した辞書を出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【0020】
本発明の第2の映像検索装置は、外部の検索対象画像入力手段から入力された検索対象が含まれている画像を用いて検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けてこれらを検索対象カテゴリ群とする検索対象クラスタリング手段と、各検索対象カテゴリ群について予め定めた方法によって膨張・収縮を行って複数の検索対象カテゴリ群間で予め定めた方法によって補間を行うことで検索対象領域を生成する検索対象領域設定手段と、外部の非検索対象画像入力手段から入力される検索対象を含まない学習画像全てについて検索対象領域との距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ特徴量空間上の異なった類似画像間を補間して類似画像及びその補間した領域が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、検索対象領域と類似画像領域とを登録した辞書を出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【0021】
本発明の第3の映像検索装置は、外部の検索対象画像入力手段から入力された検索対象が含まれている画像を用いて検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けてこれらを検索対象カテゴリ群とする検索対象クラスタリング手段と、各検索対象カテゴリ群について予め定めた方法によって膨張・収縮を行って複数の検索対象カテゴリ群間で予め定めた方法によって補間を行うことで検索対象領域を生成する検索対象領域設定手段と、非検索対象画像入力手段から入力される検索対象を含まない学習画像全てについて検索対象領域との距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ特徴量空間上の異なった類似画像間を補間して類似画像及びその補間した領域が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、予め定めた方法によって検索対象領域内の複数のクラスタを統合してクラスタの数を減らすクラスタ融合手段と、検索対象領域と類似画像領域とを登録したファイルを出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【0022】
本発明の第4の映像検索装置は、外部の画像入力手段から入力された画像に対して検索対象が含まれているかどうかを判定し、検索対象が含まれている場合に画像を検索対象領域設定手段に渡し、含まれていない場合に画像を類似度計算手段に渡す画像識別手段と、画像識別手段によって得られた検索対象が含まれている画像を用いて予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決める検索対象領域設定手段と、画像識別手段によって得られた検索対象を含まない学習画像全てについて検索対象領域との特徴量空間上の距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ特徴量空間上の異なった類似画像間を補間して類似画像及びその補間した領域が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、検索対象領域と類似画像領域とを登録した辞書を出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【0023】
本発明の第5の映像検索装置は、外部の画像入力手段から入力された画像に対して検索対象が含まれているかどうかを判定し、検索対象が含まれている場合に画像を検索対象画像クラスタリング手段に渡し、含まれていない場合に画像を類似度計算手段に渡す画像識別手段と、画像識別手段によって得られた検索対象が含まれている画像を用いて検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けてこれらを検索対象カテゴリ群とする検索対象クラスタリング手段と、各検索対象カテゴリ群について予め定めた方法によって膨張・収縮を行って複数の検索対象カテゴリ群間で予め定めた方法によって補間を行うことで検索対象領域を生成する検索対象領域設定手段と、画像識別手段によって得られた検索対象を含まない学習画像全てについて検索対象領域との距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ特徴量空間上の異なった類似画像間を補間して類似画像及びその補間した領域が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、検索対象領域と類似画像領域を登録した辞書を出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【0024】
本発明の第6の映像検索装置は、外部の画像入力手段から入力された画像に対して検索対象が含まれているかどうかを判定し、検索対象が含まれている場合に画像を検索対象画像クラスタリング手段に渡し、含まれていない場合に画像を類似度計算手段に渡す画像識別手段と、画像識別手段によって得られた検索対象が含まれている画像を用いて検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けてこれらを検索対象カテゴリ群とする検索対象クラスタリング手段と、各検索対象カテゴリ群について予め定めた方法によって膨張・収縮を行って複数の検索対象カテゴリ群間で予め定めた方法によって補間を行うことで検索対象領域を生成する検索対象領域設定手段と、画像識別手段によって得られた検索対象を含まない学習画像全てについて検索対象領域との距離を求める類似度計算手段と、距離が予め定めた値の範囲内にある画像を検索対象と類似していると見なして類似画像として登録しかつ特徴量空間上の異なった類似画像間を補間して類似画像及びその補間した領域が特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段と、予め定めた方法によって検索対象領域内の複数のクラスタを統合してクラスタの数を減らすクラスタ融合手段と、検索対象領域と類似画像領域とを登録したファイルを出力する辞書出力手段とを持ち、登録する画像の数を抑制し、登録の手間も低減するように検索用辞書を作成している。
【0025】
これによって、本発明では、検索精度を低下させることなく、登録画像数を削減することが可能となり、その結果、照合時間を短縮し、必要な記憶容量を低減し、登録画像確認の労力を大幅に削減することが可能となる。また、本発明では、画像選択の労力についても削減することが可能となる。
【0026】
【発明の実施の形態】
次に、本発明の実施例について図面を参照して説明する。図1は本発明の第1の実施例による映像検索装置の構成を示すブロック図である。図1において、映像検索装置1は検索対象画像入力手段11と、非検索対象画像入力手段12と、検索対象領域設定手段13と、類似度計算手段14と、類似画像領域設定手段15と、辞書出力手段16と、記録媒体17とから構成され、検索対象画像入力手段11と非検索対象画像入力手段12と記録媒体17とが外部に接続されている。
【0027】
尚、映像検索装置1の主たる構成要素のコンピュータ(図示せず)が記録媒体17に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【0028】
図2は本発明の第1の実施例による映像検索装置1の動作を示すフローチャートである。これら図1及び図2を参照して本発明の第1の実施例による映像検索装置1の動作について説明する。この図2に示す処理は映像検索装置1のコンピュータが記録媒体17に格納されたプログラムを実行することで実現される。
【0029】
検索対象領域設定手段13は外部の検索対象画像入力手段11から入力される検索対象が含まれている画像を用いて、予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決める(図2ステップS1)。
【0030】
類似度計算手段14は外部の非検索対象画像入力手段12から入力される検索対象を含まない学習画像全てについて、検索対象領域との特徴量空間上の距離を求める (図2ステップS2,S3)。
【0031】
類似画像領域設定手段15は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し(図2ステップS4)、類似画像が特徴量空間上に張る領域を類似画像領域とする(図2ステップS5)。
【0032】
辞書出力手段16は検索対象領域と類似画像領域を登録した辞書を出力する(図2ステップS6)。
【0033】
次に、具体的な実施例を用いて本実施例の動作について説明する。辞書登録用の画像は予め検索対象が含まれた画像と検索対象が含まれていない画像とに分けられている。
【0034】
検索対象が含まれている画像については検索対象画像入力手段11から入力され、検索対象が含まれていない画像については非検索対象画像入力手段12から入力される。
【0035】
検索対象画像入力手段11及び非検索対象画像入力手段12は各々、例えばビデオカメラが接続した映像キャプチャ装置から構成される。また、検索対象画像入力手段11及び非検索対象画像入力手段12は予め映像キャプチャ装置によって取得した動画像ファイルを保存し、その動画像ファイルを読込むコンピュータであってもよい。
【0036】
検索対象領域設定手段13は検索対象画像入力手段11から入力される検索対象が含まれている画像を用いて、予め定めた特徴量空間上の検索対象画像が張る範囲を決め、この範囲を検索対象領域とする。
【0037】
この場合、特徴量としては、例えば、画像全体または一部の色、形状、直交関数展開係数、動きベクトル等があげられる。検索対象領域を定める方法としては、例えば、個々の画像の特徴量空間上の位置に予め定めた広がりを与えるもの、全検索対象画像の特徴量空間上の重心と分布との分散、分布のモーメント、予め定めた特徴量空間上の出現確率分布関数に対して最小2乗法によってその出現確率分布関数のパラメータを決定する方法等があげられる。
【0038】
類似度計算手段14は非検索対象画像入力手段12から入力される検索対象を含まない学習画像全てについて、前記検索対象領域との特徴量空間上の距離を求める。距離の求め方としては、検索対象領域の登録の仕方に依存するが、例えば、個々の画像が登録されているならば、最も距離が近い画像を探索し、その画像との距離を検索対象領域との距離と見なす方法がある。
【0039】
また、検索対象領域に属する全画像の重心位置を求め、重心との距離を検索対象領域との距離と見なす方法もある。さらに、例えば、複数の画像に基づく出現確率分布関数が登録されているならば、その関数を用いて算出される出現確率を検索対象領域との距離と見なす方法もある。
【0040】
類似画像領域設定手段15は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し、類似画像が特徴量空間上に張る領域を類似画像領域とする。
【0041】
辞書出力手段16は検索対象領域と類似画像領域を登録した辞書を出力する。辞書の中身としては、例えば、個々の画像または個々の画像の特徴量、複数の画像の特徴量から求まる重心やモーメント、出現確率密度関数等があげられる。辞書は、例えば、検索処理を行う計算機の主記憶装置か、補助記憶装置か、ネットワーク上の別のマシン等に保存される。
【0042】
図3は本発明の第2の実施例による映像検索装置の構成を示すブロック図である。図3において、映像検索装置2は検索対象画像入力手段21と、非検索対象画像入力手段22と、検索対象画像クラスタリング手段23と、検索対象領域設定手段24と、類似度計算手段25と、類似画像領域設定手段26と、辞書出力手段27と、記録媒体28とから構成され、検索対象画像入力手段21と非検索対象画像入力手段22と記録媒体28とが外部に接続されている。
【0043】
尚、映像検索装置2の主たる構成要素のコンピュータ(図示せず)が記録媒体28に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【0044】
図4は本発明の第2の実施例による映像検索装置2の動作を示すフローチャートである。これら図3及び図4を参照して本発明の第2の実施例による映像検索装置2の動作について説明する。この図4に示す処理は映像検索装置2のコンピュータが記録媒体28に格納されたプログラムを実行することで実現される。
【0045】
検索対象クラスタリング手段23は外部の検索対象画像入力手段21から入力された検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする(図4ステップS11)。
【0046】
検索対象領域設定手段24は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い(図4ステップS12)、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する(図4ステップS13)。
【0047】
類似度計算手段25は外部の非検索対象画像入力手段22から入力される検索対象を含まない学習画像全てについて、前記検索対象領域との特徴量空間上の距離を求める(図4ステップS14,S15)。
【0048】
類似画像領域設定手段26は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し(図4ステップS16)、類似画像が特徴量空間上に張る領域を類似画像領域とする(図4ステップS17)。
【0049】
辞書出力手段27は検索対象領域と類似画像領域とを登録した辞書を出力する(図4ステップS18)。
【0050】
図5は図3の検索対象領域設定手段24で用いられるクラスタ間の補間方法の一例を説明するための図であり、図6は本発明の第2の実施例による類似画像領域の設定例を示す図である。これら図3〜図6を参照して本実施例の具体的な動作について説明する。
【0051】
検索対象クラスタリング手段23は外部の検索対象画像入力手段21から入力された検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって、予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする。
【0052】
画像を見え方毎に分類する方法としては、例えば、目視による分類や、対象物を3次元形状でモデリングし、3次元モデルと画像上の対象物との特徴点の対応関係から対象物の姿勢や照明環境を自動的に類推する方法があげられる。
【0053】
検索対象領域設定手段24は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する。
【0054】
膨張・収縮処理方法としては、例えば、検索対象カテゴリ群の各クラスタがガウス関数で表されるならば、一般的に、σと呼ばれているガウス関数の指数の肩の係数の増減によって容易に実現することができる。また、各クラスタが任意の関数で表される場合、検索対象が含まれるかどうかを判断するしきい値を設定し、このしきい値を増減することによっても、クラスタ領域を膨張・収縮させることができる。
【0055】
補間する方法としては、例えば、クラスタ間に予め定めた大きさと形状のクラスタとを予め定めた間隔で配置する方法や、図5に示すように、クラスタを、クラスタに外接する特徴量空間上の管で結び、この管の内側を新たに検索対象領域とする方法、クラスタ同士、重心を曲線で結び、重心を通り、この曲線に垂直な方向のクラスタの分布が、曲線の一方の端であるクラスタと、もう一方の端であるクラスタとで分布形状、例えばガウス関数ならば、指数の肩の係数が連続的に変わるように設定する方法等があげられる。
【0056】
類似画像領域設定手段26は類似度計算手段25によって求められた対象領域との距離が予め定めた値の範囲内にある検索対象の含まれていない画像について、検索対象と類似していると見なし、類似画像として登録し、個々の画像によって、特徴量空間上張られた領域を予め定めた方法で膨張・収縮させ、次に個々の画像の領域間を前記検索対象領域設定手段24で述べたものと同じ方法で補間し、これらを類似画像領域とする。
【0057】
例えば、図6に示すように、従来、図6の右側の砂粒状のパターンで塗られた楕円の集団を取り囲む破線の領域を類似した画像の領域としているが、本実施例では検索対象領域に近い、太い実線で囲まれた領域のみを類似した画像の領域として登録することになる。
【0058】
類似度計算手段25と辞書出力手段27とについては、それぞれ、上述した本発明の第1の実施例における類似度計算手段14及び辞書出力手段16と同じ動作をする。
【0059】
図7は本発明の第3の実施例による映像検索装置の構成を示すブロック図である。図7において、映像検索装置3は検索対象画像入力手段31と、非検索対象画像入力手段32と、検索対象画像クラスタリング手段33と、検索対象領域設定手段34と、類似度計算手段35と、類似画像領域設定手段36と、クラスタ融合手段37と、辞書出力手段38と、記録媒体39とから構成され、検索対象画像入力手段31と非検索対象画像入力手段32と記録媒体39とが外部に接続されている。
【0060】
尚、映像検索装置3の主たる構成要素のコンピュータ(図示せず)が記録媒体39に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【0061】
図8は本発明の第3の実施例による映像検索装置3の動作を示すフローチャートである。これら図7及び図8を参照して本発明の第3の実施例による映像検索装置3の動作について説明する。この図8に示す処理は映像検索装置3のコンピュータが記録媒体39に格納されたプログラムを実行することで実現される。
【0062】
検索対象クラスタリング手段33は外部の検索対象画像入力手段31から入力された検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする(図8ステップS21)。
【0063】
検索対象領域設定手段34は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い(図8ステップS22)、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する(図8ステップS23)。
【0064】
類似度計算手段35は外部の非検索対象画像入力手段32から入力される検索対象を含まない学習画像全てについて、検索対象領域設定手段34によって定められる、検索対象画像に基づいて特徴量空間上に構成される領域との距離を求める(図8ステップS24,S25)。
【0065】
類似画像領域設定手段36は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し(図8ステップS26)、類似画像が特徴量空間上に張る領域を類似画像領域とする(図8ステップS27)。
【0066】
クラスタ融合手段37は予め定めた方法によって検索対象領域内の複数のクラスタを統合し、クラスタの数を減らす(図8ステップS28)。辞書出力手段38は検索対象領域と類似画像領域とを登録した辞書を出力する(図8ステップS29)。
【0067】
図9は本発明の第3の実施例による検索対象領域内のクラスタの融合の例を示す図である。この図9を参照して本発明の第3の実施例による具体的な動作について説明する。
【0068】
クラスタ融合手段37は予め定めた方法によって検索対象領域内の複数のクラスタを統合し、クラスタの数を減らす。クラスタを統合する方法としては、例えば、検索対象領域設定手段34によって定められた検索対象領域に内接する最大の楕円球を予め定めた数作り、この楕円球に内包される複数のクラスタをこの楕円球で代表させる方法が考えられる。例えば、図6の左側の斜線パターンで塗られた楕円の集合を囲む領域に対して、図9に示すように、その領域に内接する楕円を設定することによって、検索対象領域を構成するクラスタの数を低減することができる。
【0069】
上述した検索対象クラスタリング手段33と、検索対象領域設定手段34と、類似度計算手段35と、類似画像領域設定手段36と、辞書出力手段38とについてはそれぞれ本発明の第2の実施例における検索対象クラスタリング手段23と、検索対象領域設定手段24と、類似度計算手段25と、類似画像領域設定手段26と、辞書出力手段27とそれぞれ同じ動作を行う。
【0070】
図10は本発明の第4の実施例による映像検索装置の構成を示すブロック図である。図10において、映像検索装置4は検索対象画像入力手段41と、非検索対象画像入力手段42と、検索対象画像クラスタリング手段43と、検索対象領域設定手段44と、類似度計算手段45と、類似画像領域設定手段46と、クラスタ融合手段47と、辞書出力手段48と、記録媒体49とから構成され、検索対象画像入力手段41と非検索対象画像入力手段42と記録媒体49とが外部に接続されている。
【0071】
尚、映像検索装置4の主たる構成要素のコンピュータ(図示せず)が記録媒体49に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【0072】
図11は本発明の第4の実施例による映像検索装置4の動作を示すフローチャートである。これら図10及び図11を参照して本発明の第4の実施例による映像検索装置4の動作について説明する。この図11に示す処理は映像検索装置4のコンピュータが記録媒体49に格納されたプログラムを実行することで実現される。
【0073】
検索対象クラスタリング手段43は外部の検索対象画像入力手段41から入力された検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする(図11ステップS31)。
【0074】
検索対象領域設定手段44は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い(図11ステップS32)、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する(図11ステップS33)。
【0075】
類似度計算手段45は外部の非検索対象画像入力手段42から入力される検索対象を含まない学習画像全てについて、クラスタ融合手段47によって定められる検索対象領域との距離を求める(図11ステップS34,S35)。
【0076】
類似画像領域設定手段46は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し(図11ステップS36)、類似画像が特徴量空間上に張る領域を類似画像領域とする(図11ステップS37)。
【0077】
クラスタ融合手段47は予め定めた方法によって検索対象領域内の複数のクラスタを統合し、クラスタの数を減らす(図11ステップS38)。辞書出力手段48は検索対象領域と類似画像領域とを登録した辞書を出力する(図11ステップS39)。
【0078】
本実施例では、類似度計算手段45が検索対象領域設定手段44によって定められる検索対象の特徴領空間上の領域に基づいて類似度を計算するのではなく、クラスタ融合手段47によってラスタ数を削減した後の検索対象領域に基づいて類似度を算出という点を除くと、本発明の第3の実施例と同じ動作を行う。
【0079】
図12は本発明の第5の実施例による映像検索装置の構成を示すブロック図である。図12において、映像検索装置5は画像入力手段51と、画像識別手段52と、検索対象領域設定手段53と、類似度計算手段54と、類似画像領域設定手段55と、辞書出力手段56と、記録媒体57とから構成され、画像入力手段51と記録媒体57とが外部に接続されている。
【0080】
尚、映像検索装置5の主たる構成要素のコンピュータ(図示せず)が記録媒体57に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【0081】
図13は本発明の第5の実施例による映像検索装置5の動作を示すフローチャートである。これら図12及び図13を参照して本発明の第5の実施例による映像検索装置5の動作について説明する。この図13に示す処理は映像検索装置5のコンピュータが記録媒体57に格納されたプログラムを実行することで実現される。
【0082】
画像識別手段52は外部の画像入力手段51から入力された画像を予め定めた方法を用いて、検索対象が含まれているものと含まれていないものとに分類し(図13ステップS41)、検索対象が含まれている画像を検索対象領域設定手段53に渡し、検索対象が含まれていない画像を類似度計算手段54に渡す(図13ステップS42)。
【0083】
検索対象領域設定手段53は画像識別手段52によって得られた検索対象が含まれている画像を用いて、予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決める(図13ステップS43)。
【0084】
類似度計算手段54は画像識別手段52によって得られた検索対象を含まない学習画像全てについて、検索対象領域との特徴量空間上の距離を求める(図13ステップS44,S45)。
【0085】
類似画像領域設定手段55は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し(図13ステップS46)、類似画像が特徴量空間上に張る領域を類似画像領域とする(図13ステップS47)。
【0086】
辞書出力手段56は検索対象領域と類似画像領域とを登録した辞書を出力する(図13ステップS48)。
【0087】
次に、上記の図12を参照して本実施例の具体的な動作について説明する。画像識別手段52は外部の画像入力手段51から入力された画像を予め定めた方法を用いて、検索対象が含まれているものと含まれていないものとに分類し、検索対象が含まれている画像を検索対象領域設定手段53に渡し、検索対象が含まれていない画像を類似度計算手段54に渡す。
【0088】
検索対象が含まれているかどうかを識別する方法としては、例えば、特開平8−153198号公報に記載された方法や、特開2000−30065号公報に記載された方法等を用いることができる。こういった手法を用いた自動的な識別は誤りを含む場合があるので、複数の手法によるクロスチェックや、目視による確認を併用してもよい。
【0089】
検索対象領域設定手段53及び類似度計算手段54が画像を画像識別手段52から渡される点を除くと、検索対象領域設定手段53、類似度計算手段54、類似画像領域設定手段55、辞書出力手段56各々については、上述した本発明の第1の実施例における検索対象領域設定手段13、類似度計算手段14、類似画像領域設定手段15、辞書出力手段16と同じ動作を行う。
【0090】
図14は本発明の第6の実施例による映像検索装置の構成を示すブロック図である。図14において、映像検索装置6は画像入力手段61と、画像識別手段62と、検索対象画像クラスタリング手段63と、検索対象領域設定手段64と、類似度計算手段65と、類似画像領域設定手段66と、辞書出力手段67と、記録媒体68とから構成され、画像入力手段61と記録媒体68とが外部に接続されている。
【0091】
尚、映像検索装置6の主たる構成要素のコンピュータ(図示せず)が記録媒体68に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【0092】
図15は本発明の第6の実施例による映像検索装置6の動作を示すフローチャートである。これら図14及び図15を参照して本発明の第6の実施例による映像検索装置6の動作について説明する。この図15に示す処理は映像検索装置6のコンピュータが記録媒体68に格納されたプログラムを実行することで実現される。
【0093】
画像識別手段62は外部の画像入力手段61から入力された画像を予め定めた方法を用いて、検索対象が含まれているものと含まれていないものとに分類し(図15ステップS51)、検索対象が含まれている画像を検索対象クラスタリング手段63に渡し、検索対象が含まれていない画像を類似度計算手段65に渡す(図15ステップS52)。
【0094】
検索対象クラスタリング手段63は画像識別手段62によって得られた検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする(図15ステップS53)。
【0095】
検索対象領域設定手段64は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い(図15ステップS54)、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する(図15ステップS55)。
【0096】
類似度計算手段65は画像識別手段62によって得られた検索対象を含まない学習画像全てについて、検索対象領域との特徴量空間上の距離を求める(図15ステップS56,S57)。
【0097】
類似画像領域設定手段66は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し(図15ステップS58)、類似画像が特徴量空間上に張る領域を類似画像領域とする(図15ステップS59)。
【0098】
辞書出力手段67は検索対象領域と類似画像領域とを登録した辞書を出力する(図15ステップS60)。
【0099】
本実施例において、画像識別手段62は上述した本発明の第5の実施例における画像識別手段52と同じ動作を行う。また、検索対象クラスタリング手段63と、類似度計算手段64とが画像を画像識別手段62から渡される点を除くと、検索対象領域設定手段63、類似度計算手段64、類似画像領域設定手段65、辞書出力手段66各々については、上述した本発明の第2の実施例における検索対象領域設定手段23、類似度計算手段24、類似画像領域設定手段25、辞書出力手段26と同じ動作を行う。
【0100】
図16は本発明の第7の実施例による映像検索装置の構成を示すブロック図である。図16において、映像検索装置7は画像入力手段71と、画像識別手段72と、検索対象画像クラスタリング手段73と、検索対象領域設定手段74と、類似度計算手段75と、類似画像領域設定手段76と、クラスタ融合手段77と、辞書出力手段78と、記録媒体79とから構成され、画像入力手段71と記録媒体79とが外部に接続されている。
【0101】
尚、映像検索装置7の主たる構成要素のコンピュータ(図示せず)が記録媒体79に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【0102】
図17は本発明の第7の実施例による映像検索装置7の動作を示すフローチャートである。これら図16及び図17を参照して本発明の第7の実施例による映像検索装置7の動作について説明する。この図17に示す処理は映像検索装置7のコンピュータが記録媒体79に格納されたプログラムを実行することで実現される。
【0103】
画像識別手段72は外部の画像入力手段71から入力された画像を予め定めた方法を用いて、検索対象が含まれているものと含まれていないものとに分類し(図17ステップS61)、検索対象が含まれている画像を検索対象クラスタリング手段73に渡し、検索対象が含まれていない画像を類似度計算手段75に渡す(図17ステップS62)。
【0104】
検索対象クラスタリング手段73は画像識別手段72によって得られた検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする(図17ステップS63)。
【0105】
検索対象領域設定手段74は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い(図17ステップS64)、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する(図17ステップS65)。
【0106】
類似度計算手段75は画像識別手段72によって得られた検索対象を含まない学習画像全てについて、検索対象領域との特徴量空間上の距離を求める(図17ステップS66,S67)。
【0107】
類似画像領域設定手段76は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し(図17ステップS68)、類似画像が特徴量空間上に張る領域を類似画像領域とする(図17ステップS69)。
【0108】
クラスタ融合手段77は予め定めた方法によって検索対象領域内の複数のクラスタを統合し、クラスタの数を減らす(図17ステップS70)。辞書出力手段78は検索対象領域と類似画像領域とを登録した辞書を出力する(図17ステップS71)。
【0109】
本実施例においては、画像識別手段72が上述した本発明の第5の実施例における画像識別手段52と同じ動作を行う。また、本実施例では、検索対象クラスタリング手段73と類似度計算手段75とが画像を画像識別手段72から渡される点を除くと、検索対象領域設定手段73、検査対象領域設定手段74、類似度計算手段75、類似画像領域設定手段76、クラスタ融合手段77、辞書出力手段78各々については、上述した本発明の第3の実施例における検索対象クラスタリング手段33、検索対象領域設定手段34、類似度計算手段35、類似画像領域設定手段36、クラスタ融合手段37、辞書出力手段38とそれぞれ同じ動作を行う。
【0110】
図18は本発明の第8の実施例による映像検索装置の構成を示すブロック図である。図18において、映像検索装置8は画像入力手段81と、画像識別手段82と、検索対象画像クラスタリング手段83と、検索対象領域設定手段84と、類似度計算手段85と、類似画像領域設定手段86と、クラスタ融合手段87と、辞書出力手段88と、記録媒体89とから構成され、画像入力手段81と記録媒体89とが外部に接続されている。
【0111】
尚、映像検索装置8の主たる構成要素のコンピュータ(図示せず)が記録媒体89に格納されたプログラムを実行することで、上記の各手段がそれぞれ制御される。
【0112】
図19は本発明の第8の実施例による映像検索装置8の動作を示すフローチャートである。これら図18及び図19を参照して本発明の第8の実施例による映像検索装置8の動作について説明する。この図19に示す処理は映像検索装置8のコンピュータが記録媒体89に格納されたプログラムを実行することで実現される。
【0113】
画像識別手段82は外部の画像入力手段81から入力された画像を予め定めた方法を用いて、検索対象が含まれているものと含まれていないものとに分類し(図19ステップS81)、検索対象が含まれている画像を検索対象クラスタリング手段83に渡し、検索対象が含まれていない画像を類似度計算手段85に渡す(図19ステップS82)。
【0114】
検索対象クラスタリング手段83は画像識別手段82によって得られた検索対象が含まれている画像を用いて、検索対象である特定の物体や人物の画像を、方向や照明条件等の見え方によって予め複数のカテゴリに分け、これらを検索対象カテゴリ群とする(図19ステップS83)。
【0115】
検索対象領域設定手段84は各検索対象カテゴリ群について、予め定めた方法によって膨張・収縮を行い(図19ステップS84)、複数の検索対象カテゴリ群間で予め定めた方法によって補間を行い、検索対象領域を生成する(図19ステップS85)。
【0116】
類似度計算手段85は画像識別手段82によって得られた検索対象を含まない学習画像全てについて、クラスタ融合手段87によって定められる、検索対象領域との距離を求める(図19ステップS86,S87)。
【0117】
類似画像領域設定手段86は距離が予め定めた値の範囲内にある画像について、検索対象と類似していると見なし、類似画像として登録し(図19ステップS88)、類似画像が特徴量空間上に張る領域を類似画像領域とする(図19ステップS89)。
【0118】
クラスタ融合手段87は予め定めた方法によって検索対象領域内の複数のクラスタを統合し、クラスタの数を減らす(図19ステップS90)。辞書出力手段88は検索対象領域と類似画像領域とを登録した辞書を出力する(図19ステップS91)。
【0119】
本実施例においては、類似度計算手段85が検索対象領域設定手段84によって定められる検索対象の特徴領空間上の領域に基づいて類似度を計算するのではなく、クラスタ融合手段87によってラスタ数を削減した後の検索対象領域に基づいて類似度を算出するという点を除くと、上述した本発明の第7の実施例と同じ動作を行う。
【0120】
このように、本発明では、出力する辞書に誤検索抑制用に検索対象の画像及び特徴量空間上近い画像のみを登録するため、検索精度を低下させることなく、登録画像数を削減することができ、その結果、照合時間を短縮し、必要な記憶容量を低減し、登録画像確認の労力を大幅に削減することができる。また、本発明では、類似画像であるかどうかを自動的に判断するため、画像選択の労力についても削減することができる。
【0121】
【発明の効果】
以上説明したように本発明は、出力する辞書に誤検索抑制用に検索対象の画像及び特徴量空間上近い画像のみを登録することによって、検索の精度を維持しつつ、辞書に登録する画像の数を抑制することができ、登録の手間を低減することができるという効果が得られる。
【図面の簡単な説明】
【図1】本発明の第1の実施例による映像検索装置の構成を示すブロック図である。
【図2】本発明の第1の実施例による映像検索装置の動作を示すフローチャートである。
【図3】本発明の第2の実施例による映像検索装置の構成を示すブロック図である。
【図4】本発明の第2の実施例による映像検索装置の動作を示すフローチャートである。
【図5】図3の検索対象領域設定手段で用いられるクラスタ間の補間方法の一例を説明するための図である。
【図6】本発明の第2の実施例による類似画像領域の設定例を示す図である。
【図7】本発明の第3の実施例による映像検索装置の構成を示すブロック図である。
【図8】本発明の第3の実施例による映像検索装置の動作を示すフローチャートである。
【図9】本発明の第3の実施例による検索対象領域内のクラスタの融合の例を示す図である。
【図10】本発明の第4の実施例による映像検索装置の構成を示すブロック図である。
【図11】本発明の第4の実施例による映像検索装置の動作を示すフローチャートである。
【図12】本発明の第5の実施例による映像検索装置の構成を示すブロック図である。
【図13】本発明の第5の実施例による映像検索装置の動作を示すフローチャートである。
【図14】本発明の第6の実施例による映像検索装置の構成を示すブロック図である。
【図15】本発明の第6の実施例による映像検索装置の動作を示すフローチャートである。
【図16】本発明の第7の実施例による映像検索装置の構成を示すブロック図である。
【図17】本発明の第7の実施例による映像検索装置の動作を示すフローチャートである。
【図18】本発明の第8の実施例による映像検索装置の構成を示すブロック図である。
【図19】本発明の第8の実施例による映像検索装置の動作を示すフローチャートである。
【図20】従来例による映像検索装置の構成を示すブロック図である。
【符号の説明】
1〜8 映像検索装置
11,21,31,41 検索対象画像入力手段
12,22,32,42 非検索対象画像入力手段
13,24,34,44,53,64,74,84 検索対象領域設定手段
14,25,35,45,54,65,75,85 類似度計算手段
15,26,36,46,55,66,76,86 類似画像領域設定手段
16,27,38,48,56,67,78,88 辞書出力手段
17,28,39,49,57,68,79,89 記録媒体
23,33,43,63,73,83 検索対象画像クラスタリング手段
37,47,77,87 クラスタ融合手段
51,61,71,81 画像入力手段
52,62,72,82 画像識別手段
Claims (11)
- 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する抽出手段と、出力する辞書に前記検索対象の画像及び前記抽出手段で抽出された画像を登録して出力する手段とを有し、
前記抽出手段は、外部から入力されかつ検索対象を含む画像を用いて予め定めた特徴量空間上の前記検索対象の画像が張る範囲である検索対象領域を決める検索対象領域設定手段と、外部から入力されかつ前記検索対象の画像を含まない学習画像全てについて前記検索対象領域との特徴量空間上の距離を求める類似度計算手段と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記類似画像が前記特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段とを含むことを特徴とする映像検索装置。 - 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する抽出手段と、出力する辞書に前記検索対象の画像及び前記抽出手段で抽出された画像を登録して出力する手段とを有し、
前記抽出手段は、外部から入力されかつ検索対象を含む画像を用いて前記検索対象である特定の物体や人物の画像を少なくとも方向や照明条件の見え方によって予め複数のカテゴリに分けて検索対象カテゴリ群とする検索対象クラスタリング手段と、前記検索対象カテゴリ群各々について予め定めた方法によって膨張・収縮を行いかつ複数の検索対象カテゴリ群間で予め定めた方法によって補間を行って検索対象領域を生成する検索対象領域設定手段と、外部から入力されかつ検索対象を含まない学習画像全てについて前記検索対象領域との距離を求める類似度計算手段と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ予め定めた特徴量空間上の異なった類似画像間を補間して前記類似画像及びその補間した領域が前記特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段とを含むことを特徴とする映像検索装置。 - 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する抽出手段と、出力する辞書に前記検索対象の画像及び前記抽出手段で抽出された画像を登録して出力する手段とを有し、
前記抽出手段は、外部から入力された画像に対して検索対象が含まれているかどうかを判定する画像識別手段と、前記画像識別手段で前記検索対象が含まれていると判定された画像を用いて予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決める検索対象領域設定手段と、前記画像識別手段で前記検索対象が含まれていないと判定された学習画像全てについて前記検索対象領域との特徴量空間上の距離を求める類似度計算手段と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記特徴量空間上の異なった類似画像間を補間して前記類似画像及びその補間した領域が前記特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段とを含むことを特徴とする映像検索装置。 - 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する抽出手段と、出力する辞書に前記検索対象の画像及び前記抽出手段で抽出され た画像を登録して出力する手段とを有し、
前記抽出手段は、外部から入力された画像に対して検索対象が含まれているかどうかを判定する画像識別手段と、前記画像識別手段で前記検索対象が含まれていると判定された画像を用いて前記検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けて検索対象カテゴリ群とする検索対象クラスタリング手段と、前記画像識別手段で前記検索対象が含まれていると判定された画像を前記検索対象カテゴリ群各々について予め定めた方法によって膨張・収縮を行いかつ複数の検索対象カテゴリ群間で予め定めた方法によって補間を行って検索対象領域を生成する検索対象領域設定手段と、前記画像識別手段で前記検索対象が含まれていないと判定された学習画像全てについて前記検索対象領域との距離を求める類似度計算手段と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ予め定めた特徴量空間上の異なった類似画像間を補間して前記類似画像及びその補間した領域が前記特徴量空間上に張る領域を類似画像領域とする類似画像領域設定手段とを含むことを特徴とする映像検索装置。 - 予め定めた方法によって前記検索対象領域内の複数のクラスタを統合して前記クラスタの数を減らすクラスタ融合手段を含むことを特徴とする請求項2または請求項4記載の映像検索装置。
- 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索方法であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第1のステップと、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第2のステップとを有し、
前記第1のステップは、外部から入力されかつ検索対象を含む画像を用いて予め定めた特徴量空間上の前記検索対象の画像が張る範囲である検索対象領域を決めるステップと、外部から入力されかつ前記検索対象を含まない学習画像全てについて前記検索対象領域との特徴量空間上の距離を求めるステップと、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記類似画像が前記特徴量空間上に張る領域を類似画像領域とするステップとを含むことを特徴とする映像検索方法。 - 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索方法であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第1のステップと、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第2のステップとを有し、
前記第1のステップは、外部から入力されかつ検索対象を含む画像を用いて前記検索対象である特定の物体や人物の画像を少なくとも方向や照明条件の見え方によって予め複数のカテゴリに分けて検索対象カテゴリ群とするステップと、前記検索対象カテゴリ群各々について予め定めた方法によって膨張・収縮を行いかつ複数の検索対象カテゴリ群間で予め定めた方法によって補間を行って検索対象領域を生成するステップと、外部から入力されかつ検索対象を含まない学習画像全てについて前記検索対象領域との距離を求めるステップと、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ予め定めた特徴量空間上の異なった類似画像間を補間して前記類似画像及びその補間した領域が前記特徴量空間上に張る領域を類似画像領域とするステップとを含むことを特徴とする映像検索方法。 - 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索方法であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第1のステップと、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第2のステップとを有し、
前記第1のステップは、外部から入力された画像に対して検索対象が含まれているかどうかを判定するステップと、前記検索対象が含まれていると判定された画像を用いて予め定めた特徴量空間上の検索対象画像が張る範囲である検索対象領域を決めるステップと、前記検索対象が含まれていないと判定された学習画像全てについて前記検索対象領域との特徴量空間上の距離を求めるステップと、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記特徴量空間上の異なった類似画像間を補間して前記類似画像及びその補間した領域が前記特徴量空間上に張る領域を類似画像領域とするステップとを含むことを特徴とする映像検索方法。 - 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索方法であって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第1のステップと、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第2のステップとを有し、
前記第1のステップは、外部から入力された画像に対して検索対象が含まれているかどうかを判定するステップと、前記検索対象が含まれていると判定された画像を用いて前記検索対象である特定の物体や人物の画像を方向や照明条件等の見え方によって予め複数のカテゴリに分けて検索対象カテゴリ群とするステップと、前記検索対象が含まれていると判定された画像を前記検索対象カテゴリ群各々について予め定めた方法によって膨張・収縮を行いかつ複数の検索対象カテゴリ群間で予め定めた方法によって補間を行って検索対象領域を生成するステップと、前記検索対象が含まれていないと判定された学習画像全てについて前記検索対象領域との距離を求めるステップと、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ予め定めた特徴量空間上の異なった類似画像間を補間して前記類似画像及びその補間した領域が前記特徴量空間上に張る領域を類似画像領域とするステップとを含むことを特徴とする映像検索方法。 - 予め定めた方法によって前記検索対象領域内の複数のクラスタを統合して前記クラスタの数を減らすステップを含むことを特徴とする請求項7または請求項9記載の映像検索方法。
- 大量の静止画像や動画像から画像認識を用いて特定の物体や人物を検索する場合に限定された条件下の画像のみを用いて認識用の辞書を構築する映像検索装置内のコンピュータに実行させるプログラムであって、
検索対象の画像に特徴量空間上近い画像を前記検索対象の画像と類似した類似画像として抽出する第1の処理と、その抽出された画像及び検索対象の画像を前記辞書に登録して出力する第2の処理とを含み、
前記第1の処理は、外部から入力されかつ検索対象を含む画像を用いて予め定めた特徴量空間上の前記検索対象の画像が張る範囲である検索対象領域を決める処理と、外部から入力されかつ前記検索対象を含まない学習画像全てについて前記検索対象領域との特徴量空間上の距離を求める処理と、前記距離が予め定めた値の範囲内にある画像を前記類似画像として登録しかつ前記類似画像が前記特徴量空間上に張る領域を類似画像領域とする処理とを含むことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002154891A JP4232388B2 (ja) | 2002-05-29 | 2002-05-29 | 映像検索装置及びそれに用いる映像検索方法並びにそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002154891A JP4232388B2 (ja) | 2002-05-29 | 2002-05-29 | 映像検索装置及びそれに用いる映像検索方法並びにそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003345830A JP2003345830A (ja) | 2003-12-05 |
JP4232388B2 true JP4232388B2 (ja) | 2009-03-04 |
Family
ID=29771534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002154891A Expired - Fee Related JP4232388B2 (ja) | 2002-05-29 | 2002-05-29 | 映像検索装置及びそれに用いる映像検索方法並びにそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4232388B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4973188B2 (ja) * | 2004-09-01 | 2012-07-11 | 日本電気株式会社 | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム |
JP4789526B2 (ja) * | 2005-07-13 | 2011-10-12 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP4777059B2 (ja) | 2005-12-22 | 2011-09-21 | パナソニック株式会社 | 画像検索装置および画像検索方法 |
JP5237596B2 (ja) | 2007-08-10 | 2013-07-17 | オリンパス株式会社 | 判別装置 |
JP5007757B2 (ja) * | 2010-06-29 | 2012-08-22 | 株式会社ニコン | 画像分類装置 |
JP5361664B2 (ja) | 2009-10-30 | 2013-12-04 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP6341843B2 (ja) * | 2014-11-27 | 2018-06-13 | 株式会社 日立産業制御ソリューションズ | 画像検索装置、及び画像検索システム |
-
2002
- 2002-05-29 JP JP2002154891A patent/JP4232388B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003345830A (ja) | 2003-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kejriwal et al. | High performance loop closure detection using bag of word pairs | |
US9092662B2 (en) | Pattern recognition method and pattern recognition apparatus | |
KR100874787B1 (ko) | 형태를 사용하여 객체를 표현 및 탐색하기 위한 방법 및장치 | |
CN104616316B (zh) | 基于阈值矩阵和特征融合视觉单词的人物行为识别方法 | |
Lee et al. | Place recognition using straight lines for vision-based SLAM | |
CN104794219A (zh) | 一种基于地理位置信息的场景检索方法 | |
JP5180922B2 (ja) | 画像検索システム及び画像検索方法 | |
CN111339812A (zh) | 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质 | |
CN104281572A (zh) | 一种基于互信息的目标匹配方法及其*** | |
KR20180009180A (ko) | 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법 | |
JP2016099835A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JPWO2012046426A1 (ja) | 物体検出装置、物体検出方法および物体検出プログラム | |
JP4232388B2 (ja) | 映像検索装置及びそれに用いる映像検索方法並びにそのプログラム | |
Shao et al. | Identity and kinship relations in group pictures | |
JP6639743B1 (ja) | 検索システム、検索方法、及びプログラム | |
JP4421527B2 (ja) | 映像検索装置,方法及びプログラム並びにプログラムを記録した記録媒体 | |
CN114219828A (zh) | 一种基于视频的目标关联方法、装置和可读存储介质 | |
CN112101154B (zh) | 视频分类方法、装置、计算机设备和存储介质 | |
JP6384167B2 (ja) | 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム | |
US20230386185A1 (en) | Statistical model-based false detection removal algorithm from images | |
CN115601396A (zh) | 一种基于深度特征和关键点匹配的红外目标跟踪方法 | |
Xiong et al. | Coaction discovery: segmentation of common actions across multiple videos | |
KR102540290B1 (ko) | 이종 센서 카메라 기반 사람 재식별 장치 및 방법 | |
CN113657169A (zh) | 一种步态识别方法、装置、***和计算机可读存储介质 | |
JP2004062505A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4232388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |