JP5826513B2 - 類似画像検索システム - Google Patents
類似画像検索システム Download PDFInfo
- Publication number
- JP5826513B2 JP5826513B2 JP2011109071A JP2011109071A JP5826513B2 JP 5826513 B2 JP5826513 B2 JP 5826513B2 JP 2011109071 A JP2011109071 A JP 2011109071A JP 2011109071 A JP2011109071 A JP 2011109071A JP 5826513 B2 JP5826513 B2 JP 5826513B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- similar
- keyword
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 description 42
- 230000006870 function Effects 0.000 description 25
- 238000004891 communication Methods 0.000 description 24
- 238000003860 storage Methods 0.000 description 24
- 238000001514 detection method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 8
- 238000001454 recorded image Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000002265 prevention Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010048669 Terminal state Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
記録媒体の大容量化は、記録できる映像の量を飛躍的に増大させ、より多地点や長時間の記録を可能にしつつある反面、記録画像を目視でチェックする負担の増加が問題として顕在化しつつある。
人物検索機能とは、映像中への人物の登場を自動検知の対象として、リアルタイムに記録し、事後に記録画像中から人物登場画像を探し出せる機能である。
1つ目は、登場イベント検索機能である。登場イベント検索機能は、映像中への人物の登場(イベント)の有無を、単純に探し出す機能である。検索結果にはイベントの有無に加え、イベント有と判定された場合には、そのイベント数と各イベントの発生時刻やイベントを撮影した撮像装置番号、撮影した画像(人物登場画像)等を提示する。なお、この検索のクエリ(Query)には、イベント発生時刻や撮像装置番号等の検索対象範囲を絞込むための情報として与える場合が多い。以下では、この検索対象範囲を絞込むための情報を、「絞込みパラメータ」ということにする。
2つ目は、類似人物検索機能である。上述の登場イベント検索機能が、登場人物を特定しない検索であるのに対し、こちらはユーザが指定する特定人物が、他の時間、あるいは他の地点の撮像装置で撮影されていないかどうかを、記録画像中から探し出す機能である。検索結果には、特定人物が映った他の画像の有無に加え、有の場合には、その数と撮影時刻、撮像装置番号、撮影した画像(人物登場画像)、後述の類似度等を返す。
特定人物の指定は、探したい人物が映った画像(以降、検索キー画像)をユーザが1ケ指定することで実施される。検索キー画像は、記録画像や外部装置からの任意の画像から指定される。検索は、この検索キー画像中の人物の画像特徴量を画像認識技術により抽出し、記録画像中の人物の画像特徴量と照合し、その類似性(類似度)を求め、同一人物判定を実施することにより実現される。記録画像中の人物特徴量の抽出と記録は、映像録画時等の別タイミングにて予め実施しておく。この検索のクエリにおいても、絞込みパラメータを与えることが可能である場合が多い。
特許文献1には、このように検索キー画像を指定して、検索結果の画像から選択して、別の表示領域に表示して、それを次の検索キー画像にするなどしてユーザの利便性を高めるようにした画像検索装置が開示されている。
また、特許文献2には、ユーザの利便性をさらに高める類似画像検索システムが記載されている。この特許文献2では、ユーザは、類似画像検索の結果に対して、人名や特徴などのキーワードを付与する。画像検索には、二種類の検索方法が用意されており、キーワードを付与された画像を検索の対象から除く類似画像検索と、キーワードを付与された画像のみを検索の対象とする登場イベント検索がある。ユーザは、類似画像検索を複数回行い、充分多くの画像にキーワードを付与した判断した後に、登場イベント検索を行う。
即ち、ユーザは類似画像検索の結果に対し、検索結果から多数の正解画像を選択してキーワードの付与を行う必要がある。
また、登場イベント検索の結果に対してキーワードを付与したい場合には、キーワードを、その都度キーボードから入力する手間をかける必要がある。
さらに、当該システムの運用において、例えば名字と名前を合わせたフルネームをキーワードとして入力することと規定されていた場合には、ユーザはそのフルネームを完全に知っておく必要がある。つまり、以前に入力したことはあるが、姓を覚えているが名を忘れてしまった場合や、漢字やスペルを忘れてしまった場合に、別途調査して完全な情報を手に入れないと入力できない問題がある。
本発明は、上記のような問題に鑑み、キーワード付与機能の向上、検索の容易性の向上した類似画像検索システムの提供を目的とする。
また端末装置は、例えば、当該端末装置の各部の制御および所定の機能を実現するための第2のプログラムを実行する第2のCPUと、表示装置に表示するための画像データや第2のCPU261で実行する第2のプログラムをロードして格納するための第2の主記憶部と、検索キーワード、画像データ、および第2のプログラムを格納する第2の補助記憶部とからなる。
また例えば、第2のCPUは、検索要求の録画装置への送信を行う検索要求送信部、検索結果画像および検索結果データを録画装置から受信する検索結果受信部、検索結果受信部にて受信した検索結果画像を画面表示する検索結果表示部、録画装置から入力された画像データを連続動画表示する再生画像表示部、ユーザによる操作内容の検知および取得を行う画面操作検知部、キーワード付与要求を前記録画装置に送信するキーワード付与要求送信部を備える。
ネットワーク200は、データ通信を行う専用ネットワークやイントラネット、インターネット、無線LAN(Local Area Network)等の各装置を相互に接続して通信を行う通信手段である。
撮像装置201は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)素子等で撮像した画像にデジタル変換処理を施し、変換処理された画像データを、ネットワーク200を介して録画装置へ送信するネットワークカメラや監視カメラ等の装置である。
録画装置102は、ネットワーク200を介して撮像装置201より入力された画像データをHDD等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。また、本装置には、本発明の類似画像検索システムを含む人物検索機能を搭載している。
画像記録部211は、入力画像データの記録媒体への書込みや出力画像データの記録媒体からの読出しを行う。書込みの際には、画像データに加え、画像データを読出す際の情報となる画像ID(後述)も併せて記録する。
再生制御部212は、端末装置103への映像再生を制御する。
人物特徴量抽出部214は、人物領域検出部212で検出した領域に対して画像認識技術を用いて特徴量算出を行う。ここで算出する人物特徴量とは、例えば、人物の輪郭の形状や方向、皮膚の色、歩容(どの脚をどのようにどんなタイミングで動かすかといった脚の捌き方)、あるいは、人物を特定する代表的な部位である顔の輪郭の形状や方向、目や鼻、口といった主要構成要素の大きさ、形状、配置関係等が挙げられるが、本実施形態においては、使用する特徴量の種類や数はいずれであってもよい。
人物特徴量記録部215は、人物特徴量抽出部で算出した特徴量の記録媒体への書込みと読出しを行う。画像記録部における画像データの記録媒体と本処理部における人物特徴量の記録媒体とは同一であっても別個であってもよい。
属性情報記録部216は、画像データに関連する属性情報の記録媒体への書込みと読出しを行う。属性情報とは、例えば、画像の撮影時刻や撮像装置番号等である。
類似人物検索部218は、要求受信部にて受信した要求が類似人物検索要求であった場合に、類似画像の検索を行う。
登場イベント検索部219は、要求受信部にて受信した要求が登場イベント検索要求であった場合に、登場イベントの検索を行う。
検索結果送信部220は、類似人物検索部218や登場イベント検索部219から得た類似人物検索結果や登場イベント検索結果の端末装置への送信を行う。
キーワード記録部110は、要求受信部にて受信したキーワード付与要求に基づくキーワードの記録媒体への書込みと読出しを行う。
キーワード検索部111は、要求受信部にて受信した検索要求データ中にキーワードが含まれていた場合に、キーワード検索を行う。
端末装置103は、機能構成として、検索要求送信部221、検索結果受信部222、検索結果表示部223、再生画像表示部224、画面操作検知部225、キーワード付与要求送信部112の各処理部にて構成される。また、端末装置103には、本発明を実現するための人物検索機能も搭載している。
検索結果受信部222は、検索結果の録画装置からの受信を行う。検索結果として受信するデータには、録画装置において、類似人物検索、あるいは、登場イベント検索を実施して得られた画像の集合が含まれる。集合を構成する個々の画像は、録画装置に記録された映像から画像サイズ縮小処理等を施して生成される。以下、この個々の画像を「検索結果画像」、検索結果として送受信するデータを「検索結果データ」と称する。
検索結果表示部223は、検索結果受信部にて受信した検索結果の画面表示を行う。表示される画面例については後述する。
再生画像表示部224は、録画装置から入力された画像データの画面への連続動画表示を行う。
画面操作検知部225は、ユーザによる操作内容の検知および取得を行う。
キーワード付与要求送信部112は、キーワード付与要求の録画装置への送信を行う。
本発明の類似画像検索システムに用いられるデータ構造の一実施例には、図5Aに示すようなフレームテーブル300と、図5Bに示すような属性情報データテーブル310がある。
例えば、付与された登録ID311と関連付けられて、フレームテーブル300に格納されたフレームの一部が、画像ID312により指定される。また、その画像の特徴量は、特徴量313に、撮像した撮像装置201のIDは、カメラID314に、フレームの撮像時刻に関する情報は、時刻情報315に、フレームに付与されたキーワードは、キーワード316にと、各々のフィールドに格納される。
通信510と通信511は、リクエストとレスポンスの関係にあり、通信510は、類似人物検索要求を含み、通信511は、類似人物検索結果を含む。この2つの通信により、1回の類似人物検索が実行されることになる。
通信512は、画像に対するキーワード付与要求を含む。
ここで、通信511に含まれる類似人物検索結果には、画像ID301等の属性情報データテーブル310の静的な情報だけでなく、録画装置102における検索処理時に算出された検索キー画像に対する類似度を含むようにする。
本実施例では類似度は0〜100までの範囲の数値とし、100に近いほど検索キー画像に似た画像であることを表すものとする。
図8Aの検索画面801は、再生画像表示領域3001、画像再生操作領域3003、検索キー画像指定領域3004、検索絞込パラメータ指定領域3008、検索実行領域4017、および、検索結果表示領域4020よりなる。
画像再生操作領域3003は、録画装置に記録された画像を再生操作する領域である。
本領域3003を構成する各ボタンには、それぞれ固有の再生種類が割当てられている。図8Aにおける各ボタンには、例えば左から、巻戻し、逆再生、再生停止、順再生、早送りの再生種類が割当てられている。ユーザが各ボタンをマウス282で適宜押下することにより、動画3002がボタンに割当てられた再生種類に切り替る。
検索キー画像3005は、類似検索のためのキーとする画像である。初期状態においては、検索キー画像は、未指定であるので、画像表示はされていない状態となる。なお、未指定の場合に、別途用意した未指定状態を示す画像を表示する等、未指定である旨の表記をするようにしてもよい。
ファイル指定ボタン3007は、録画装置102に記録されている画像以外の画像、例えば、デジタルスチルカメラで撮影した画像やスキャナで取込んだ画像等を、検索キー画像3005として指定するボタンである。このボタン3007を押下すると、それらの画像をファイル指定するダイアログボックスが表示され、ユーザはそこで所望の画像を指定することができる。
初期状態においては、全撮像装置を検索対象とするため、撮像装置指定チェックボックスは全て選択状態となる。
同様に時刻指定チェックボックス3014を選択状態にした場合には時刻範囲に末尾時刻を与える。非選択状態にした場合には、時刻範囲に末尾時刻を与えない、すなわち、録画装置に記録された最も新しい時刻の画像までを検索対象範囲とすることを意味する。
時刻指定欄3015、3016は、上述の先頭時刻と末尾時刻の値を指定する入力欄である。
初期状態においては、全時間帯を検索対象とするため、時刻指定チェックボックスは全て非選択状態、時刻指定欄は空欄とする。
類似人物検索ボタン3018は、検索キー画像3005による類似人物検索実行を指示するボタンである。検索絞込パラメータ指定領域3008にてパラメータが指定されている場合には、指定されたパラメータに従って検索の実行をすることを指示する。
登場イベント検索ボタン3019は、登場イベント検索実行を指示するボタンである。検索絞込パラメータ指定領域3008にてパラメータが指定されている場合には、指定されたパラメータに従って検索の実行をすることを指示する。
キーワード指定チェックボックス4021は、キーワード指定欄4022の有効または無効を指定するボタンである。表示の態様については本ボタンも撮像装置指定チェックボックスと同様である。
キーワード指定欄4022は、キーワードの値を指定する入力欄である。
キーワード付与ボタン4023は、キーワード指定欄4022に入力されたキーワードの付与実行を指示するボタンである。
初期状態においては、キーワード指定チェックボックス4021は、非選択状態、キーワード指定欄4022は、空欄とする。
キーワードの働きや、類似人物検索ボタン3018や登場イベント検索ボタン3019とキーワードとの関係については、後述する。
ここで、ユーザは、映像指定ボタン3006を押下し、また、撮像装置指定チェックボックス3009、3010、3012を押下し、さらに、時刻指定チェックボックス3013、3014を押下し、時刻指定欄3015、3016にそれぞれ「2009/6/26 15:30:20」「2009/7/13 12:30:20」と入力する。
この操作により、検索画面は、類似人物検索実行直前状態、すなわち、図6のタイミング504の端末装置103の状態に遷移する。図8Bは、この状態における検索画面802の一実施例を示したものである。
ここで、ユーザが、類似人物検索ボタン3018を押下する。この押下によって、タイミング504から、検索画面は、類似人物検索実行直後状態、即ち、図6のタイミング505の端末装置103の状態に遷移する。図8Cは、この状態における検索画面803の一実施例を示したものである。
検索結果画像3031〜3141は、例えば、最上段左から右へ、次に2段目左から右へと検索キー画像に対する類似度順に表示する。この表示例においては、検索結果画像3031が検索キー画像3005に対し最も類似度が高く、検索結果画像3141が最も類似度が低いということを示している。
ここで検索結果表示領域4020に表示されているのは、「カメラ1、カメラ2、カメラ4の2009/6/26 15:30:20から2009/7/13 12:30:20までの画像で、Aさんと類似した画像」を検索要求した検索結果である。
例えば、検索結果画像3031には、人物「Aさん」が登場することを示している。この簡略表示している部分には、もちろん、実際のシステムでの表示では実画像が表示される。
検索結果画像3031の周辺には、頭出し再生ボタン3032と検索キー画像指定ボタン3033、キーワード対象チェックボックス4034を備える。他の検索結果画像でも同様である。
頭出し再生ボタン3032は、検索結果画像を先頭とした連続動画再生開始を指示するボタンである。例えば、頭出し再生ボタン3032を押下すると動画3002が検索結果画像3031に切り替り、その検索結果画像を先頭として始まる動画をユーザは、視聴することができる。
類似度表示欄8035は、検索キー画像に対する類似度を表示する領域である。検索結果画像3031の類似度表示欄8035には、例えば、90という値が表示されており、他の検索結果の類似度表示欄にもそれぞれ数値が表示されている。
キーワード付与チェックボックス4034は、キーワード付与の対象となる検索結果画像を指定するボタンである。表示の態様については本ボタンも他のチェックボックスと同様である。例えば、ユーザが、キーワード付与チェックボックス4034を押下すると、チェックマークが表示され、検索結果画像3031が、キーワード付与対象となる。
ここで、類似度表示欄8035の数値が一定以上、図8Cにおいては75以上の検索結果画像3031、3041、3051、3061、3071、3081、3091のキーワード付与チェックボックスが既選択状態になっている。
例えば、正解である検索結果画像3031、3041、3051、3061、3081、3091、3121、3141を全て選択する場合、類似人物検索実行直後状態に全て非選択状態にする方法では、8回の選択操作が必要であり、類似人物検索実行直後状態に全て選択状態にする方法では4回の選択を外す操作が必要である。一方、本発明の方法では1回の選択を外す操作と2回の選択する操作の計3回の操作で良い。
ここで、図6と同様に、図7の軸501と軸502は、録画装置102、端末装置103の上部から下部へ進む時系列を表している。また、タイミング703〜707は、それぞれ時系列上でのタイミングを表している。各タイミングにおける端末装置103の表示部上に表示される画面の一例や、ユーザ操作内容の一例については後述する。
通信711と通信712は、リクエストとレスポンスの関係にあり、通信711には登場イベント検索要求を、通信712には登場イベント検索結果を含み、この2つの通信により、1回の登場イベント検索要求が実行されることになる。さらに通信713は類似人物検索要求を、通信714は類似人物検索結果を含む。通信716、717についても同様である。通信715には、画像に対するキーワード付与要求を含む。通信718についても同様である。
図8A、図8E、図8F、図8G、図8Hは、本発明の類似画像検索において、端末装置103の表示装置270に表示される登場イベント検索を行っているときの各フェーズの画面を示す図である。
ここで、ユーザは、撮像装置指定チェックボックス3009、3010、および3012を押下し、さらに、時刻指定チェックボックス3013、3014を押下し、時刻指定欄3015、3016にそれぞれ「2009/6/26 15:30:20」「2009/7/13 12:30:20」と入力する。
このユーザ操作により、検索画面は、登場イベント検索実行直前状態、即ち、図7のタイミング704の端末装置103の状態に遷移する。図8Eは、この状態における検索画面805の一実施例を示したものである。
図8Bの検索画面802と比較すると、図8Eの検索画面805では、検索キー画像3005が指定されていない。
ここで、ユーザが、登場イベント検索ボタン3019を押下する。すると、検索画面805は、登場イベント検索実行直後状態、すなわち、図7のタイミング705の端末装置103の状態に遷移する。図8Fは、この状態における検索画面806の一例を示したものである。
登場イベント検索では、検索結果画像3081のように1つの画像に2つ以上の選択すべき人物が現れる場合がある。このため、図8Cのキーワード対象チェックボックス4034ではなく、人物矩形表示8036のような選択可能な表示を設ける。
なお、他の項目に関しては図8Cと同じであるので説明を省略する。
このとき、ユーザは、検索結果画像3031の人物矩形表示8036をマウスでクリックして選択操作を行う。その結果、検索画面は、人物選択済み状態、即ち、図7のタイミング706の端末装置103の状態に遷移する。
このとき、端末装置103内部ではAさんの人物画像をキー画像にして類似人物検索要求を行っている。
本実施例では、類似人物検索結果に属性情報と検索キー画像に対する類似度が格納されている。即ち、ここではAさんに類似した画像のキーワードと類似度が取得できる。
図5(c)に示すデータ320は、類似画像検索の検索結果に含まれるデータであり、検索結果の返送データのうち本発明に必須の部分である。
類似画像検索の検索結果に含まれるデータ302は、ここでは、キーワード「Aさん」「Bさん」「Cさん」が付与されているものおよび空欄すなわちキーワード未付与のものが検索結果として返送されていることを表す。
ここで、人物矩形表示8036は、選択済み状態を表す太枠表示になっている。
また、キーワード指定欄4022がキーワード指定およびキーワード候補選択欄8100になっている。
キーワード指定およびキーワード候補選択欄8100は、キーワードを入力することが可能であり、候補表示されている中から選択することも可能である。
ユーザは、これを見て、キーワード候補表示欄8100の「Aさん」が目的の「Aさん」であることを確認し、マウスを使ってクリックなどで選択する。すると、図7のタイミング707の端末装置103の状態に遷移する。図7のタイミング707の端末装置103の状態では図8Hの検索画像808が表示される。
図8Hの8037はキーワード表示欄である。キーワード表示欄8037には付与済みのキーワードが表示される。
このようにすることで、ユーザが「Aさん」の名前の正確な漢字やスペルを知らなくても、他のユーザが正確な漢字やスペルを入力済みであれば、誤りなく入力できる。また、ユーザが、毎回キーボードで「Aさん」の名前を入力しなくても、マウスでクリックするだけで、キーワードを付与する作業を行うことができる。
また、本実施形態においては、人物検索に関わる人物検出処理や人物特徴量抽出処理等を録画装置上で実施する構成で説明したが、ネットワークで接続された録画装置とは別個の装置にて実施するようにしてもよい。
また、本実施形態においては、キーワードが文字列であるように示したが、特定の番号や記号列にて実施するようにしてもよい。
さらに、本実施形態においては、人物検索を対象に示したが、本発明は人物だけでなく一般的な画像検索にも適用することができる。
Claims (3)
- 撮像した複数の画像の画像データを記憶し、前記画像の特徴量を抽出して、指定されたキー画像の特徴量と類似度が高い画像を検索する類似画像検索システムであって、
検索結果の画像を一覧表示する第1ユーザインタフェースと、
前記検索結果の画像のそれぞれを、選択状態または非選択状態のいずれかに指定する入力を受け付ける第2ユーザインタフェースと、
前記選択状態の画像へ付与される任意のキーワードの入力を受け付ける第3ユーザインタフェースと、を備え、
前記第2ユーザインタフェースは、前記検索結果の画像の内、前記キー画像の特徴量と所定以上類似する画像の少なくとも1つを、自動的に選択状態にし、
前記第3ユーザインタフェースは、前記選択状態の画像に類似する画像に付与されているキーワードを、前記選択状態の画像に付与されるべきキーワードの候補として、類似度の降順で提示することを特徴とする類似画像検索システム。 - 前記選択状態の画像に類似する画像は、前記第2ユーザインタフェースによっていずれかの画像を選択状態とする入力が受け付けられたときに、該選択状態の画像をキー画像としてバックグラウンドで行った類似画像検索の結果、取得され、
前記キーワードの候補は、前記選択状態の画像に類似する画像に付与されているキーワードのうち、最も類似度が高いものであることを特徴とする請求項1記載の類似画像検索システム。 - 前記類似画像検索システムは、画像の類似度によらない画像検索方法である登場イベント検索機能を有し、
前記第2ユーザインタフェースが、前記登場イベント検索の結果の画像を選択状態にする操作を受け付けたとき、該選択画像をキー画像として類似画像検索を行い、該類似画像検索の結果にキーワード付与済みの画像が含まれていれば、そのキーワードを付与候補として提示することを特徴とする請求項1記載の類似画像検索システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011109071A JP5826513B2 (ja) | 2011-05-16 | 2011-05-16 | 類似画像検索システム |
PCT/JP2012/062309 WO2012157611A1 (ja) | 2011-05-16 | 2012-05-14 | 類似画像検索システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011109071A JP5826513B2 (ja) | 2011-05-16 | 2011-05-16 | 類似画像検索システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012242878A JP2012242878A (ja) | 2012-12-10 |
JP2012242878A5 JP2012242878A5 (ja) | 2014-06-26 |
JP5826513B2 true JP5826513B2 (ja) | 2015-12-02 |
Family
ID=47176928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011109071A Active JP5826513B2 (ja) | 2011-05-16 | 2011-05-16 | 類似画像検索システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5826513B2 (ja) |
WO (1) | WO2012157611A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6213557B2 (ja) * | 2013-03-01 | 2017-10-18 | 日本電気株式会社 | 情報処理装置、そのデータ処理方法、およびプログラム |
JP6947085B2 (ja) * | 2018-03-09 | 2021-10-13 | オムロン株式会社 | 電子機器及びその制御方法 |
JP6573346B1 (ja) | 2018-09-20 | 2019-09-11 | パナソニック株式会社 | 人物検索システムおよび人物検索方法 |
JP7235612B2 (ja) * | 2019-07-11 | 2023-03-08 | i-PRO株式会社 | 人物検索システムおよび人物検索方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3500930B2 (ja) * | 1997-09-22 | 2004-02-23 | ミノルタ株式会社 | キーワード付与方法およびキーワード自動付与装置 |
JP2000099531A (ja) * | 1998-09-22 | 2000-04-07 | Minolta Co Ltd | 情報処理装置 |
JP4478513B2 (ja) * | 2004-06-10 | 2010-06-09 | キヤノン株式会社 | デジタルカメラ、デジタルカメラの制御方法、プログラムおよびそれを格納した記録媒体 |
JP2010271769A (ja) * | 2009-05-19 | 2010-12-02 | Seiko Epson Corp | 画像処理方法及び装置、並びに、そのためのコンピュータプログラム |
-
2011
- 2011-05-16 JP JP2011109071A patent/JP5826513B2/ja active Active
-
2012
- 2012-05-14 WO PCT/JP2012/062309 patent/WO2012157611A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2012242878A (ja) | 2012-12-10 |
WO2012157611A1 (ja) | 2012-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5863400B2 (ja) | 類似画像検索システム | |
JP5506324B2 (ja) | 類似画像検索システム、および、類似画像検索方法 | |
KR20190026738A (ko) | 비디오 레코딩 내에 존재하는 동일한 사람 또는 물건을 대화형으로 식별하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 | |
US11308158B2 (en) | Information processing system, method for controlling information processing system, and storage medium | |
JP6589082B2 (ja) | 類似画像検索システム | |
KR20180058019A (ko) | 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치 | |
JP6203188B2 (ja) | 類似画像検索装置 | |
JP5826513B2 (ja) | 類似画像検索システム | |
JP5768265B2 (ja) | 類似画像検索システム | |
JP2009123196A (ja) | 画像検索装置 | |
JP6214762B2 (ja) | 画像検索システム、検索画面表示方法 | |
JP3372096B2 (ja) | 画像情報アクセス装置 | |
JP5329130B2 (ja) | 検索結果表示方法 | |
US10817709B2 (en) | Similar image search system | |
JP6210634B2 (ja) | 画像検索システム | |
JP6485978B2 (ja) | 画像処理装置および画像処理システム | |
JP2006163527A (ja) | 画像検索装置及び方法 | |
JP5147737B2 (ja) | 撮像装置 | |
JP2009301502A (ja) | 画像検索システム | |
JP3727794B2 (ja) | 情報記憶検索方法および情報記憶検索装置および記録媒体 | |
WO2017056948A1 (ja) | 画像処理システム | |
JP2016009278A (ja) | 画像処理システム | |
JP2010278600A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140509 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5826513 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |