JP5506324B2 - 類似画像検索システム、および、類似画像検索方法 - Google Patents

Description

本発明は、類似画像検索システム、および、類似画像検索方法に係り、特に、映像監視システムの人物の検索のためのユーザインタフェースを使い勝手のよいものにする用途に用いて好適な類似画像検索システム、および、類似画像検索方法に関する。

従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて、注意をしたり、あるいは映像を録画・保存するものである。

映像監視システムでの映像の録画・保存において、記録媒体には従来のビデオテープ媒体から、ハードディスクドライブ（ＨＤＤ）に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年ではこのような記録媒体の大容量化が進んでいる。

記録媒体の大容量化は録画できる映像の量を飛躍的に増大させ、より多地点や長時間の録画を可能にしつつある反面、録画画像を目視でチェックする負担の増加が問題として顕在化しつつある。

このような背景から、所望の映像をより簡単に見つけ出すための検索機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象（イベント）の発生を画像認識技術を用いてリアルタイムに自動検知して映像とともに記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的な一つに人物検索機能がある。

人物検索機能とは、映像中への人物の登場を自動検知の対象として、リアルタイムに記録し、事後に録画画像中から人物登場画像を探し出せる機能である。機能面から人物検索機能は、以下の２種類に大別される。

一つ目は、登場イベント検索機能である。登場イベント検索機能は、映像中への人物の登場（イベント）の有無を、単純に探し出す機能である。検索結果にはイベントの有無に加え、イベント有と判定された場合には、そのイベント数と各イベントの発生時刻やイベントを撮影した撮像装置番号、撮影した画像（人物登場画像）等を提示する。なお、この検索のクエリには、イベント発生時刻や撮像装置番号等を検索対象範囲を絞込むための情報として与える場合が多い。以下では、この検索対象範囲を絞込むための情報を、「絞込みパラメータ」ということにする。

二つ目は、類似人物検索機能である。上述の登場イベント検索機能が、登場人物を特定しない検索であるのに対し、こちらはユーザが指定する特定人物が、他の時間、あるいは他の地点の撮像装置で撮影されていないかどうかを、録画画像中から探し出す機能である。検索結果には、特定人物が映った他の画像の有無に加え、有の場合には、その数と撮影時刻、撮像装置番号、撮影した画像（人物登場画像）、後述の類似度等を返す。

特定人物の指定は、探したい人物が映った画像（以降、検索キー画像）をユーザが１ケ指定することで実施される。検索キー画像は、録画画像や外部装置からの任意の画像から指定される。検索は、この検索キー画像中の人物の画像特徴量を画像認識技術により抽出し、録画画像中の人物の画像特徴量と照合し、その類似性（類似度）を求め、同一人物判定を実施することにより実現される。録画画像中の人物特徴量の抽出と記録は、映像録画時等の別タイミングにて予め実施しておく。この検索のクエリにおいても、絞込みパラメータを与えることが可能である場合が多い。

両検索機能のどちらにおいても、検索結果には録画画像を取り出すためのリンケージ情報が付与されており、検索結果から録画画像の頭出し再生が可能になっている。

特許文献１には、このように検索キー画像指定を指定して、検索結果の画像から選択して、別の表示領域に表示して、それを次のキー画像にするなどしてユーザの利便性を高めるようにした画像検索装置が開示されている。

特開２００９−１２３１９６号公報

上述の人物検索機能、特に類似人物検索機能は、録画装置に記録された膨大な検索対象画像中から目的の人物映像への容易な頭出し再生を提供し、大変便利である。

しかしながら、現状の類似人物検索機能は、人物特徴量の偏り、例えば、各所での撮影角度の差異や各時での人物の傾きによって生じる輪郭成分の偏り等により、出力される検索結果にも偏りが生じてしまう傾向にある。

すなわち、例えば、正面に映った人物画像を検索キー画像にした場合、検索結果として見付かる録画画像も正面人物画像が多く、同様に斜めに映った人物画像を検索キー画像にした場合、検索結果として見つかる録画画像も似た角度の斜め人物画像が多い。言い換えると、正面人物画像を検索キー画像にすると、同一人物であっても斜め人物画像を探し損ねる可能性が高く、逆も同様であるということである。

また、逆に、本当は他人である人物を誤って同一人物であると判定してしまうこともあり、検索結果がＳ／Ｎ比の低いものとなり、結果的に正しい人物を見逃してしまうこともある。

一方、安全・安心を求める映像監視システムに類似人物検索機能を適用する場合、システムの性質上、同一人物画像を録画画像中から余すことなく全てを見つけ出すことが求められる。

したがって、上記のニーズを満たすには、検索条件を変える、すなわち、検索キー画像を変えながら、検索行為を複数回実施して、得られる複数個の検索結果を組合せて利用することが重要となる。

しかしながら、現状の人物検索機能においては、複数回の類似人物検索を効率的に提供する方法、また、それによって得られる複数個の検索結果を効率的に利用する方法が提供されていないという問題点があった。

本発明は、上記問題点を解決するためになされたもので、その目的は、キー画像を指定して、類似画像を検索する場合に、検索を効率的におこない、ユーザインタフェースを使い勝手をよいものにすることのできる類似画像検索システムを提供することにある。

本発明の類似画像検索システムでは、例えば、画像を撮像する撮像装置と、撮像した画像を記憶して、検索する録画装置と、ユーザが検索の指定をする端末装置とで構成する。

録画装置では、画像の特徴量を抽出し、その特徴量を評価することにより、ユーザの指定するキー画像と類似する画像を検索する。類似画像検索の結果に対して、人名や特徴などのキーワードを付与することが手段が提供されている。

画像検索には、二種類の検索方法が用意されており、キーワードを付与された画像を検索の対象から除く類似画像検索と、キーワードを付与された画像のみを検索の対象とする登場イベント検索がある。

類似画像検索を複数回おこない、検索する対象の画像に対して充分の多くの画像にキーワードを付与した判断した後に、登場イベント検索をおこなう。

本発明の類似画像検索システムの構成によれば、映像監視システムの人物検索機能において、複数回の類似人物検索の検索結果を効率的に組合せて、一つの検索結果として求めることが可能となる。また、複数回の類似人物検索を複数の端末装置から同時並行して実施しながらも、上記の効果を得ることも可能となる。

本発明によれば、キー画像を指定して、類似画像を検索する場合に、検索を効率的におこない、ユーザインタフェースを使い勝手をよいものにすることのできる類似画像検索システムを提供することができる。

本発明の一実施形態に係る類似画像検索システムのシステム構成図である。 撮像装置のハードウェア構成図である。 録画装置のハードウェア構成図である。 端末装置のハードウェア構成図である。 本発明の一実施形態に係る類似画像検索システムに用いられデータ構造を示す図である。 録画装置１０２と端末装置１０３の間の処理シーケンス図である。 録画装置１０２と端末装置１０３ａ，１０３ｂの間の処理シーケンス図である。 検索実行前の初期状態における検索画面の一例を示した図である。 類似人物検索実行直前状態における検索画面の一例を示した図である。 類似人物検索実行直後状態における検索画面の一例を示した図である。 キーワード付与実行直後状態における検索画面の一例を示した図である。 ２回目の類似人物検索実行直前状態における検索画面の一例を示した図である。 ２回目の類似人物検索実行直後状態における検索画面の一例を示した図である。 登場イベント検索実行直後における検索画面の一例を示した図である。 録画処理を示すフローチャートである。 映像再生処理を示すフローチャートである。 人物検索処理を示すフローチャートである（その一）。 人物検索処理を示すフローチャートである（その二）。

以下、本発明に係る一実施形態を、図１ないし図１１を用いて説明する。
先ず、図１ないし図４を用いて本発明の一実施形態に係る類似画像検索システムの構成について説明する。
図１は、本発明の一実施形態に係る類似画像検索システムのシステム構成図である。
図２は、撮像装置のハードウェア構成図である。
図３は、録画装置のハードウェア構成図である。
図４は、端末装置のハードウェア構成図である。

類似画像検索システムは、図１に示されるように、ネットワーク２００に、撮像装置２０１（２０１ａ，２０１ｂ，…）、録画装置１０２、端末装置１０３（１０３ａ，１０３ｂ，…）が接続され、互いに通信可能な状態で構成される。

ネットワーク２００は、データ通信をおこなう専用ネットワークやイントラネット、インターネット、無線ＬＡＮ等の各装置を相互に接続して通信をおこなう通信手段である。

撮像装置２０１は、ＣＣＤやＣＭＯＳ素子等で撮像した画像にデジタル変換処理を施し、変換された画像データを、ネットワーク２００を介して録画装置へ出力するネットワークカメラや監視カメラ等の装置である。

録画装置１０２は、ネットワーク２００を介して撮像装置より入力された画像データをＨＤＤ等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。また、本装置には、本発明の方式を含む人物検索機能も搭載している。

録画装置１０２は、機能構成として、画像送受信部２１０、画像記録部２１１、再生制御部２１２、人物領域検出部２１３、人物特徴量抽出部２１４、人物特徴量記録部２１５、属性情報記録部２１６、要求受信部２１７、類似人物検索部２１８、登場イベント検索部２１９、検索結果送信部２２０、キーワード記録部１１０、キーワード検索部１１１の各処理部よりなる。

画像送受信部２１０は、装置外部からの画像入出力をおこなう処理部であり、撮像装置からの入力画像データの受信、端末装置への出力画像データの送信をおこなう。

画像記録部２１１は、入力画像データの記録媒体へ書込みや出力画像データの記録媒体からの読出しをおこなう。書込みの際には、画像データに加え、画像データを読出す際の情報となる画像ＩＤ（後述）も併せて記録する。

再生制御部２１２は、端末装置への映像再生を制御する。

人物領域検出部２１３は、入力画像データに対し画像認識技術を用いた人物検出をおこない、画像中の人物の存在判定をし、人物が存在する場合には、その領域の座標算出をおこなう。

人物特徴量抽出部２１４は、人物領域検出部で検出した領域に対して画像認識技術を用いて特徴量算出をおこなう。ここで算出する人物特徴量とは、例えば、人物の輪郭の形状や方向、皮膚の色、歩容（どの脚をどのようにどんなタイミングで動かすかといった脚の捌き方）、あるいは、人物を特定する代表的な部位である顔の輪郭の形状や方向、目や鼻、口といった主要構成要素の大きさ・形状や配置関係等が挙げられるが、本実施形態においては、使用する特徴量の種類や数はいずれであってもよい。

人物特徴量記録部２１５は、人物特徴量抽出部で算出した特徴量の記録媒体への書込みと読出しをおこなう。画像記録部における画像データの記録媒体と本処理部における人物特徴量の記録媒体とは同一であっても別個であってもよい。

属性情報記録部２１６は、画像データに関連する属性情報の記録媒体への書込みと読出しをおこなう。属性情報とは、例えば、画像の撮影時刻や撮像装置番号等である。

要求受信部２１７は、端末装置からの検索要求やキーワード付与要求の受信をおこなう。検索要求には、類似画像検索要求と、登場イベント検索要求がある。

類似人物検索部２１８は、要求受信部にて受信した要求が類似人物検索要求であった場合に、検索をおこなう。

登場イベント検索部２１９は、要求受信部にて受信した要求が登場イベント検索要求であった場合に、検索をおこなう。

検索結果送信部２２０は、類似人物検索部や登場イベント検索部２１９から得た類似人物検索結果や登場イベント検索結果の端末装置への送信をおこなう。

キーワード記録部１１０は、要求受信部にて受信したキーワード付与要求に基づくキーワードの記録媒体への書込みと読出しをおこなう。

キーワード検索部１１１は、要求受信部にて受信した検索要求データ中にキーワードが含まれていた場合に、キーワード検索をおこなう。

端末装置１０３は、ネットワーク機能を有する一般のＰＣ（パーソナルコンピュータ）で実現してもよいし、専用の検索端末でもよい。

端末装置１０３は、機能構成として、検索要求送信部２２１、検索結果受信部２２２、検索結果表示部２２３、再生画像表示部２２４、画面操作検知部２２５、キーワード付与要求送信部１１２の各処理部にて構成される。また、本装置には、本発明の方式を実現するための人物検索機能も搭載している。

検索要求送信部２２１は、検索要求の録画装置への送信をおこなう。類似人物検索の場合、検索要求データには、検索キー画像が含まれる。また、検索要求データには、絞込みパラメータを含めることも可能である。

検索結果受信部２２２は、検索結果の録画装置からの受信をおこなう。検索結果として受信するデータには、録画装置において、類似人物検索、あるいは、登場イベント検索を実施して得られた画像の集合が含まれる。集合を構成する個々の画像は、録画装置に記録された映像から画像サイズ縮小処理等を施して生成される。以下、この個々の画像を「検索結果画像」、検索結果として送受信するデータを「検索結果データ」ということにする。

検索結果表示部２２３は、検索結果受信部にて受信した検索結果の画面表示をおこなう。表示される画面例については後述する。

再生画像表示部２２４は、録画装置から入力された画像データの画面への連続動画表示をおこなう。

画面操作検知部２２５は、ユーザによる操作内容の検知・取得をおこなう。

キーワード付与要求送信部１１２は、キーワード付与要求の録画装置への送信をおこなう。

撮像装置２０１のハードウェア構成としては、図２に示されるように、撮像部２４１、主記憶部２４２、符号化部２４３、ネットワークＩ／Ｆ２４５が、バス２４０で結合された形態である。

撮像部２４１は、レンズで撮像した光信号をデジタルデータに変換する。符号化部２４３は、撮像部２４１が出力するデジタルデータを符号化して、ＪＰＥＧなどの画像データに変換する。主記憶部２４２は、撮像したデジタルデータ、符号化された画像データを記憶する。ネットワークＩ／Ｆ２４５は、主記憶部２４２上の画像データをネットワーク２００を介して、録画装置１０２に送信するためのインタフェースである。

録画装置１０２のハードウェア構成としては、図３に示されるように、ＣＰＵ２５１、主記憶部２５２、補助記憶部２５３、ネットワークＩ／Ｆ２５４が、バス２５０で結合された形態である。

ＣＰＵ２５１は、録画装置１０２の各部の制御と、機能を実現するためのプログラムの実行をおこなう。主記憶部２５２は、ＤＲＡＭなどの半導体装置で実現され、検索のための画像データやＣＰＵ２５１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２５３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２５２より大容量のメモリであり、画像データやプログラムを格納する。ネットワークＩ／Ｆ２５４は、ネットワーク２００を介して、撮像装置２０１からの画像データを受信したり、端末装置１０３から検索キーワードを受信したり、端末装置１０３に画像データを送信するためのインタフェースである。

端末装置１０３のハードウェア構成としては、図４に示されるように、ＣＰＵ２６１、主記憶部２６２、補助記憶部２６３、表示Ｉ／Ｆ２６４、入出力Ｉ／Ｆ２５５、ネットワークＩ／Ｆ２６６が、バス２６０で結合された形態である。

ＣＰＵ２６１は、端末装置１０３の各部の制御と、機能を実現するためのプログラムの実行をおこなう。主記憶部２６２は、ＤＲＡＭなどの半導体装置で実現され、表示のための画像データやＣＰＵ２６１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２６３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２６２より大容量のメモリであり、検索キーワード、画像データやプログラムを格納する。表示Ｉ／Ｆ２６４は、表示装置２７０と接続するためのインタフェースである。入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続するためのインタフェースである。ネットワークＩ／Ｆ２６６は、ネットワーク２００を介して、録画装置１０２からの画像データを受信したり、録画装置１０２に検索キーワードを送信したり、録画装置１０２から画像データを受信するためのインタフェースである。表示装置２７０は、例えば、ＬＣＤ（Liquid Crystal Display）などの装置であり、画像や動画を表示する装置である。

次に、図５を用いて本発明の一実施形態に係る類似画像検索システムに用いられデータ構造について説明する。
図５は、本発明の一実施形態に係る類似画像検索システムに用いられデータ構造を示す図である。

本発明の一実施形態に係る類似画像検索システムに用いられデータ構造には、図５（ａ）に示されるように、フレームテーブル３００と、図５（ｂ）に示されるように、属性情報データテーブル３１０がある。

フレームテーブル３００は、映像データを格納するためのテーブルであり、画像ＩＤ３０１が付されて、ＪＰＥＧなどのフレームデータ３０２が記録される。

属性情報データ３１０は、画像データを解析した結果の画像の属性情報データを格納するためのテーブルであり、登録ＩＤ３１１が識別のために付与され、フレームテーブル３００に格納されたフレームの一部が、画像ＩＤ３１２により、指定されて、その画像の特徴量は、特徴量３１３に、撮像した撮像装置２０１のＩＤは、カメラＩＤ３１４に、フレームの撮像時刻に関する情報は、３１５に、フレームに付与されたキーワードは、キーワード３１６にと、各々のフィールドに格納される。

なお、例えば、録画のフレームレートが、３０ｆｐｓ（Frames Per Second）のときに、画像の解析をおこなうのは、その内で、人がいると認識した部分あり、最大３ｆｐｓぐらいのフレームレートで画像を捉えて解析をおこなう。

次に、図６を用いて録画装置１０２と端末装置１０３の間の処理シーケンスを説明する。
図６は、録画装置１０２と端末装置１０３の間の処理シーケンス図である。

ここで、図６の軸５０１、５０２は、録画装置１０２、端末装置１０３の上部から下部へ進む時系列を表している。また、タイミング５０３〜５０９は、それぞれ時系列上でのタイミングを表している。各タイミングにおける端末装置１０３上に表示される画面の一例や、ユーザ操作内容の一例については後述する。

通信５１０〜５１７は、録画装置１０２と端末装置１０３間の主な通信を示している。通信５１０と通信５１１は、リクエストとレスポンスの関係にあり、通信５１０には類似人物検索要求を、通信５１１には類似人物検索結果を含み、この二つの通信により、１回の類似人物検索が実行されることになる。通信５１３、５１４についても同様である。通信５１２には、画像に対するキーワード付与要求を含む。通信５１５についても同様である。通信５１６と５１７は、リクエストとレスポンスの関係にあり、通信５１６には登場イベント検索要求を、通信５１７には登場イベント検索結果を含み、この二つの通信により、１回の登場イベント検索をおこなう。図６に示されるように、通信５１３〜５１５は、適当回数繰り返される。

以上に示すように、本発明の類似検索の方法は、類似人物検索とキーワード付与をペアとして、それを複数回繰り返し実施し、最後に登場イベント検索を実施するシーケンスでおこなうものである。

次に、図７を用いて類似画像検索システムに端末装置が複数台ある場合の録画装置１０２と端末装置１０３ａ，１０３ｂの間の処理シーケンスを説明する。
図７は、録画装置１０２と端末装置１０３ａ，１０３ｂの間の処理シーケンス図である。

軸７０１、７０２、７０３はそれぞれ録画装置、端末装置の上部から下部へと進む時系列を表している。

通信７０４〜７１７は、録画装置１０２と端末装置１０３ａ，１０３ｂ間の主な通信を示す。これらは図６にて示した通信５１０〜５１７と同様である。

繰返し記号７１８、７１９は、通信を適当回数繰り返すことを示す。

まず始めに、端末装置１０３ａを操作するユーザ６１１が、端末装置１０３ａから、ある人物、例えば「Ａさん」について類似人物検索を実行すると、通信７０４〜７０５により検索結果が、端末装置１０３ａを操作するユーザに提示される。端末装置１０３ａを操作するユーザは、キーワード「Ａさん」を入力し、通信７０６により通信７０５に含まれる正解画像に対して、キーワード「Ａさん」を付与する。

次のタイミングで、端末装置１０３ｂを操作する別のユーザ６１２が、端末装置１０３ｂから、「Ａさん」について同様に類似人物検索を実行すると、通信７０７〜７０８により検索結果が、端末装置１０３ｂを操作するユーザに提示される。端末装置１０３ｂを操作するユーザ６１２は、同様にキーワード「Ａさん」を入力し、通信７０９により通信７０８に含まれる正解画像に対して、キーワード「Ａさん」を付与する。ただし、ここで通信７０８に含まれる検索結果画像には、通信７０６でキーワードを付与された正解画像は含まれない。

次のタイミングで、端末装置１０３ａを操作するユーザ６１１が、端末装置１０３ａから、「Ａさん」について同様に類似人物検索を実行すると、通信７１０〜７１１により検索結果が、ユーザ６１１に提示される。ユーザ６１１は、同様にキーワード「Ａさん」を入力し、通信７１２により通信７１１に含まれる正解画像に対して、キーワード「Ａさん」を付与する。ただし、ここで通信７１１に含まれる検索結果画像には、通信７０６や７０８でキーワードを付与された正解画像は含まれない。

このように、一方の端末装置における検索結果に対する操作が、もう一方の検索結果に反映され、互いに効率の良い検索が可能となっている。

また、ここまでは、端末装置１０３ａを操作するユーザ６１１と、端末装置１０３ｂを操作するユーザ６１２が完全に交互に操作をおこなうような例を示したが、例えば、端末装置１０２ｂから、端末装置１０３ｂを操作するユーザ６１２が「Ａさん」について同様に類似人物検索を実行すると、通信７１３〜７１４により検索結果が、ユーザ６１２に提示される。この通信７１４は、端末装置１０３ａを操作するユーザ６１１による通信７１２より早いタイミングで実施されているため、この通信７１４に含まれる検索結果画像には、端末装置１０３ａを操作するユーザ６１１が通信７１１により提示された検索結果画像に含まれる同一の正解画像を含む可能性がある。

通信７１４に含まれる検索結果画像と通信７１１に含まれる検索結果画像の中に同一の正解画像が含まれる場合であっても、端末装置１０３ｂを操作するユーザ６１２は、通信７１４に含まれる正解画像に対して、キーワードを付与すれば、もし、通信７１２により該画像に先にキーワードが付与されていても、上書きするようにすれば、以降の検索に齟齬は生じない。逆の場合も同様である。

最後に、端末装置１０３ａから、端末装置１０３ａを操作するユーザ６１１が、キーワード「Ａさん」で登場イベント検索を実施すれば、端末装置１０３ａと端末装置１０３ｂを操作する各々のユーザ２名で実施した類似人物検索の結果が、通信７１６〜７１７により一度に提示される。

このように、本実施形態の類似画像検索システムでは、複数の端末装置から、録画装置に対し非同期に類似人物検索を実施して、最後にそれらの結果を集約して取得することかできる。

これは、例えば、従来、録画装置に対して、特定人物が映った映像を人海戦術にて探していたような場合を想定した場合、非常に有効である。

次に、図８Ａないし図８Ｇを用いて本発明の類似画像検索システムの端末装置１０３におけるユーザの操作イメージについて説明する。
図８Ａないし図８Ｇは、端末装置１０３の表示装置２７０に表示される類似画像検索をおこなっているときの各フェーズの画面を示す図である。

図８Ａは、検索実行前の初期状態、すなわち、図６のタイミング５０３における端末装置１０３での検索画面の一例である。ユーザは、この画面から検索を開始することになる。

検索画面は、再生画像表示領域３００１、画像再生操作領域３００３、検索キー画像指定領域３００４、検索絞込パラメータ指定領域３００８、検索実行領域４０１７と、検索結果表示領域４０２０よりなる。

再生画像表示領域３００１は、録画装置に記録された画像を連続動画表示する領域である。動画３００２は、録画装置に記録された画像を連続動画表示するものである。

画像再生操作領域３００３は、録画装置に記録された画像を再生操作する領域である。本領域を構成する各ボタンには、それぞれ固有の再生種類が割当てられている。本図においては、例えば、左から巻戻し、逆再生、再生停止、順再生、早送りの再生種類が割当てられている例を示している。各ボタンを適宜押下することにより、動画３００２がボタンに割当てられた再生種類に切り替る。

検索キー画像指定領域３００４は、検索キー画像の指定と表示をおこなう領域である。本領域は、検索キー画像３００５と、映像指定ボタン３００６、ファイル指定ボタン３００７よりなる。

検索キー画像３００５は、類似検索のためのキーとする画像である。初期状態においては、検索キー画像は、未指定であるので、画像表示はされていない状態となる。あるいは、別途用意した未指定状態を示す画像を表示したり、未指定である旨の表記をするようにしてもよい。

映像指定ボタン３００６は、押下時に再生画像表示領域３００１に表示されている画像を、検索キー画像として指定するボタンである。

ファイル指定ボタン３００７は、録画装置に記録されている画像以外の画像、例えば、デジタルスチルカメラで撮影した画像やスキャナで取込んだ画像等を、検索キー画像として指定するボタンである。このボタンを押下すると、それらの画像をファイル指定するダイアログボックスが表示され、ユーザはそこで所望の画像を指定する。

検索絞込パラメータ指定領域３００８は、検索の際の絞込パラメータの種類とその値（範囲）を指定する領域である。本領域は、撮像装置指定チェックボックス３００９，３０１０，３０１１，３０１２と、時刻指定チェックボックス３０１３、３０１４、時刻指定欄３０１５、３０１６から構成する。

撮像装置指定チェックボックス３００９，３０１０，３０１１，３０１２は、検索の際に検索対象とする撮像装置を指定するボタンである。本ボタンは、押下すると選ばれたことを示すチェックマークがそれぞれ表示される。このマークは再押下すると非表示となり、押下で表示・非表示を繰り返す。

初期状態においては、全撮像装置を検索対象とするため、撮像装置指定チェックボックスは全て選択状態となる。

時刻指定チェックボックス３０１３，３０１４は、検索の際に検索対象とする時刻範囲を指定するボタンである。表示の態様については本ボタンも他のチェックボックスと同様である。時刻指定チェックボックス３０１３を選択状態にした場合には時刻範囲に先頭時刻を与える。非選択状態にした場合には、時刻範囲に先頭時刻を与えない、すなわち、録画装置に記録された最も古い時刻の画像までを検索対象範囲とすることを意味する。

同様に時刻指定チェックボックス３０１４を選択状態にした場合には時刻範囲に末尾時刻を与える。非選択状態にした場合には、時刻範囲に末尾時刻を与えない、すなわち、録画装置に記録された最も新しい時刻の画像までを検索対象範囲とすることを意味する。

時刻指定欄３０１５、３０１６は、上述の先頭時刻と末尾時刻の値を指定する入力欄である。

初期状態においては、全時間帯を検索対象とするため、時刻指定チェックボックスは全て非選択状態、時刻指定欄は空欄とする。

検索実行領域４０１７は、検索実行を指示する領域である。本領域は、類似人物検索ボタン３０１８と登場イベント検索ボタン３０１９に加え、キーワード指定チェックボックス４０２１とキーワード指定欄４０２２、キーワード付与ボタン４０２３よりなる。

類似人物検索ボタン３０１８は、検索キー画像３００５による類似人物検索実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って検索の実行をすることを指示する。

登場イベント検索ボタン３０１９は、登場イベント検索実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って検索の実行をすることを指示する。

キーワード指定チェックボックス４０２１は、キーワード指定欄４０２２の有効・無効を指定するボタンである。表示の態様については本ボタンも撮像装置指定チェックボックスと同様である。

キーワード指定欄４０２２は、キーワードの値を指定する入力欄である。

キーワード付与ボタン４０２３は、キーワード指定欄４０２２に入力されたキーワードの付与実行を指示するボタンである。

初期状態においては、キーワード指定チェックボックス４０２１は、非選択状態、キーワード指定欄４０２２は、空欄とする。

キーワードの働きや、類似人物検索ボタン３０１８や登場イベント検索ボタン３０１９とキーワードとの関係については、後述する。

検索結果表示領域４０２０は、検索結果を表示する領域である。検索結果の表示は、検索結果画像を一覧表示することにより実施する。初期状態においては、検索結果表示領域４０２０には何も表示されない。

ここで、ユーザは、映像指定ボタン３００６を押下し、また、撮像装置指定チェックボックス３００９，３０１０，３０１２を押下し、さらに、時刻指定チェックボックス３０１３、３０１４を押下し、時刻指定欄３０１５，３０１６にそれぞれ「2009/6/26 15:30:20」「2009/7/13 12:30:20」と入力する。

この操作により、検索画面は、類似人物検索実行直前状態、すなわち、図６のタイミング５０４の端末装置１０３の状態に遷移する。図８Ｂは、この状態における検索画面の一例を示したものである。

検索キー画像３００５には、動画３００２に表示された人物「Ａさん」が検索キー画像として表示され、また、検索対象としたい撮像装置として「カメラ１、カメラ２、カメラ４」の三つが指定され、検索対象としたい時刻範囲として「2009/6/26 15:30:20から2009/7/13 12:30:20まで」と指定されている状態を示している。

ここで、ユーザが、類似人物検索ボタン３０１８を押下する。すると、検索画面は、類似人物検索実行直後状態、すなわち、図６のタイミング５０５の端末装置１０３の状態に遷移する。図８Ｃは、この状態における検索画面の一例を示したものである。

検索結果表示領域４０２０には、検索キー画像３００５をキーとして類似人物検索を実行し得られた検索結果を表示している。検索結果の表示は、検索結果画像を一覧表示することにより実施する。

検索結果画像３０３１〜３１４１は、最上段左から右へ、次に２段目左から右へと検索キー画像に対する類似度順に表示する。この表示例においては、検索結果画像３０３１が検索キー画像３００５に対し最も類似度が高く、検索結果画像３１４１が最も類似度が低いということを示している。

ここで表示されているのは、「カメラ１、カメラ２、カメラ４の2009/6/26 15:30:20から2009/7/13 12:30:20までの画像で、Ａさんと類似した画像」を検索要求した検索結果である。

この図に示された例の表記において、検索結果画像上に図示した円とアルファベットは、人物の顔と人物名称を簡略表示したものであり、例えば、検索結果画像３０３１には、人物「Ａさん」が登場することを示している。この簡略表示している部分には、もちろん、実際のシステムでの表示では実画像が表示される。

検索結果画像３０３１の周辺には、頭出し再生ボタン３０３２と検索キー画像指定ボタン３０３３、キーワード対象チェックボックス４０３４を備える。他の検索結果画像も同様である。

頭出し再生ボタン３０３２は、検索結果画像を先頭とした連続動画再生開始を指示するボタンである。例えば、頭出し再生ボタン３０３２を押下すると動画３００２が検索結果画像３０３１に切り替り、その検索結果画像を先頭として始まる動画をユーザは、視聴することができる。

検索キー画像指定ボタン３０３３は、検索結果画像３０３１を検索キー画像に指定するボタンである。例えば、検索キー画像指定ボタン３０３３を押下すると、検索結果画像３０３１が、検索キー画像３００５に表示される。これにより、検索結果画像を使っての再検索を実施することができる。

キーワード付与チェックボックス４０３４は、キーワード付与の対象となる検索結果画像を指定するボタンである。表示の態様については本ボタンも他のチェックボックスと同様である。例えば、キーワード付与チェックボックス４０３４を押下すると、チェックマークが表示され、検索結果画像３０３１が、キーワード付与対象となる。

類似人物検索実行直後状態においては、キーワード対象チェックボックス４０３４は、全て非選択状態とする。

この例においては図示しなかったが、各検索結果画像には、その撮影時刻や撮像装置番号等の属性情報を画像周辺や画像上に表示するようにしてもよい。また、１枚の検索結果画像上に複数の登場人物が存在した場合等には、検索結果として表示される理由となったほうの登場人物に対し、枠等の重畳表示などをして区別することにしてもよい。

この図に示された例は、「Ａさん」を目的に類似人物検索を実行した際の検索結果である。したがって、検索結果画像３０３１，３０４１，３０５１，３０６１，３０８１，３０９１，３１２１，３１４１が正解で、検索結果画像３０７１、３１０１、３１１１、３１３１が不正解であるということを示している。

ここで、ユーザが、正解の検索結果画像３０３１，３０４１，３０５１，３０６１，３０８１，３０９１，３１２１，３１４１に対応したキーワード付与チェックボックス４０３４を押下する。例えば、検索結果画像３０３１では、その対応するキーワード付与チェックボックス４０３４を押下する。

また、キーワード指定チェックボックス４０２１を押下し、キーワード指定欄４０２２に「Ａさん」と入力し、さらにキーワード付与ボタン４０２３を押下する。この操作をおこなうと、検索画面は、キーワード付与実行直後状態、すなわち図６のタイミング５０６の端末状態１０３に遷移する。図８Ｄは、この状態における検索画面の一例を示したものである。

付与したキーワードは「Ａさん」であり、付与した検索結果画像は対応するキーワード付与チェックボックス４０３４が選択状態として示されている。

このように、キーワード付与ボタン４０２３が押下された場合には、キーワード付与チェックボックス４０３４が選択状態にある検索結果画像に対して、キーワード指定欄４０２２に指定されたキーワードが付与される。

ここで、ユーザは、検索キー画像指定ボタン４１４３を押下する。すると、画面は、２回目の類似人物検索実行直前状態、すなわち、図６のタイミング５０７の端末装置１０３の状態に遷移する。

ここで、ユーザが、「Ａさん」に対する類似人物検索を、今１度実施しようとするものとする。２回目の検索を実施する理由は、先に述べたように、１回目で見付かられなかった「Ａさん」の登場画像を見つけるためである。図８Ｅは、この２回目の類似人物検索実行直前状態における検索画面の一例を示したものである。

検索キー画像３００５には、１回目で得られた正解である検索結果画像のうちの検索結果画像３１４１に表示された人物「Ａさん」が２回目の検索キー画像として表示されている。

検索絞込パラメータについては、１回目と同じでよいので検索絞込パラメータ指定領域３００８に対しては何も操作しない。

ここで、ユーザは、再度、類似人物検索ボタン３０１８を押下する。すると、画面は、２回目の類似人物検索実行直後状態、すなわち、図６のタイミング５０８の端末装置１０３の状態に遷移する。図８Ｆは、この状態における検索画面の一例を示したものである。

１回目と同様に検索結果表示領域４０２０には、検索キー画像３００５にて類似人物検索を実行し得られた検索結果が表示される。検索結果画像４１５１〜４２６１は、最上段左から右へ、次に２段目左から右へと検索キー画像に対する類似度順に表示されている。

ただし、１回目の検索と今回の検索で異なるのは、ここで表示されているのは、「カメラ１、カメラ２、カメラ４の2009/6/26 15:30:20から2009/7/13 12:30:20までの画像で、Ａさんと類似した画像で、キーワード「Ａさん」を付与されていない画像」を検索要求した検索結果であるということである。すなわち、１回目の検索で得られた正解画像は、今回の検索結果画像には含まれていない。

このように、キーワード指定チェックボックス４０２１が選択状態である場合に、類似人物検索ボタン３０１８が押下された場合には、キーワード指定欄４０２２に指定されたキーワードを付与された画像を除いた画像を対象に類似人物検索がおこなわれる。

１回目の検索で得られた検索結果同様に今回の検索結果画像にも正解画像と不正解画像が含まれている。図８Ｆにおいては、検索結果画像４１５１，４１６１，４１７１，４１８１，４２０１，４２２１，４２４１，４２５１が正解で、４１９１、４２１１、４２３１、４２６１が不正解であることを示している。

ここで、正解画像である検索結果画像４１５１，４１６１，４１７１，４１８１，４２０１，４２２１，４２４１，４２５１に対して、図８Ｃ〜図８Ｄで説明したのと同様の手順でキーワード付与を実行する。

図６のタイミングチャートにも例示したように、ユーザは、類似人物検索とキーワード付与を繰り返す。繰り返しの終了は、類似検索の目的、利用の仕方などに基づくユーザ判断によるが、ユーザはその頃合いを検索結果画像に含まれる正解画像の割合等でつかむことが可能である。

このように、ユーザは類似人物検索とキーワード付与を繰り返したあと、登場イベント検索ボタン３０１９を押下する。

図８Ｇは、登場イベント検索実行直後、すなわち、図６のタイミング５０９における端末装置１０３の状態の検索画面の一例を示したものである。

検索結果表示領域４０２０には、登場イベント検索を実行し得られた検索結果を表示している。検索結果の表示は、検索結果画像を一覧表示することにより実施する。

検索結果画像３０３１，３０４１，３０５１，３０６１，３０８１，３０９１，３１２１，３１４１，４１５１，４１６１，４１７１，４１８１は、最上段左から右へ、次に２段目左から右へと例えば、キーワード付与順や、また例えば、撮影時刻順に表示する。また図示した範囲外には、検索結果画像４２０１、４２２１、４２４１、４２５１があり、スクロールバー操作等によりユーザは見ることができるようになっている。

ここで表示されているのは、『カメラ１、カメラ２、カメラ４の2009/6/26 15:30:20から2009/7/13 12:30:20までの画像で、キーワード「Ａさん」を付与された画像』を検索要求した検索結果である。

このように、キーワード指定チェックボックス４０２１が選択状態である場合に、登場イベント検索ボタン３０１９が押下された場合には、キーワード指定欄４０２２に指定されたキーワードを付与された画像を対象に登場イベント検索がおこなわれる。

検索結果画像３０３１，３０４１，３０５１，３０６１，３０８１，３０９１，３１２１，３１４１は、１回目の類似人物検索で得られた正解画像であり、検索結果画像４１５１，４１６１，４１７１，４１８１は、２回目の類似人物検索で得られた正解画像である。

したがって、ここで得られた検索結果画像は、全て「Ａさん」の正解画像である。これらは複数回の類似人物検索の結果をキーワードを付与することで組合せ利用できるようになったと言える。

なお、登場イベント検索をおこなったときの検索結果画像にもキーワード対象チェックボックス４０３４が表示され、チェックマークが付されている。ユーザが判断を変えて、その画像からキーワード付与をはずしたいと思ったときには、再びキーワード対象チェックボックス４０３４を押下して、そのチェックマークをはずせばよい。

このように類似検索では、キーワードを指定してキーワードを付与されていない画像のみを検索し、登場イベント検索では、キーワードを指定してキーワードを付与されている画像のみを検索することにより、効率的に類似画像を検索でき、しかも、検索の精度を上げることができる。この実施形態で採り上げた例では、少ない類似検索の回数で、多くの画像に「Ａさん」というキーワードを付与して、その後、一括して登場イベント検索で、「Ａさん」というキーワードを付与した画像を表示することができる。

次に、図９ないし図１１Ａ、図１１Ｂを用いて本発明の一実施形態に係る類似画像検索システムの処理について説明する。
先ず、図９を用いて録画処理について説明する。
図９は、録画処理を示すフローチャートである。

録画処理は、撮像装置２０１と録画装置間１０２での各々における処理と、その間の通信処理を含んでおり、撮像装置２０１からの画像を録画装置に記録する処理である。録画処理は、後述の映像再生処理や人物検索処理とは非同期に実施可能である。

初めに、録画装置１０２側の処理の流れを説明する。

録画装置１０２の画像送受信部２１０は、画像受信待機をおこなう（ステップ１０００）。画像着信を検知すると処理は、ステップ１００１に進む。

次に、録画装置１０２の画像送受信部２１０は、撮像装置からの画像を受信する（ステップ１００１）。受信データは、画像データの他に、撮影時刻や撮影装置番号等の属性情報データを含んでいる。

次に、録画装置１０２の画像記録部２１１は、受信した画像データと画像ＩＤを記録媒体に記録する（ステップ１００２）。画像ＩＤとは、後に画像データを取出すための情報である。画像ＩＤには、例えば、図５に示したように、録画装置内でユニークであるように録画開始からフレーム単位で順に振ったフレーム番号を用いることができる。また、図５に示した例では、フレームデータ３０２が画像データに該当する。

次に、録画装置１０２の人物領域検出部２１３は、受信した画像に対して人物領域検出をおこなう（ステップ１００３）。人物検出は、例えば、背景画像との差分により動体検出をおこないさらにその動体領域の形状等にて人物判定をする方法や人物を代表する部位である顔を、眼や鼻、口等の主要構成要素の配置や額と眼の濃淡差等の顔の特性を使って画像内探索をおこなう方法等の画像認識技術によりおこなう。本実施形態では、いずれの方法であってもよい。

次に、録画装置１０２の人物領域検出部２１３は、ステップ１００３での人物検出結果の判定をおこなう（ステップ１００４）。人物が検出された場合、処理をステップ１００５に進め、検出されなかった場合には、処理をステップ１０００に戻す。

次に、録画装置１０２の人物領域検出部２１３は、ステップ１００３での検出結果を基に人物の画像領域を算出する（ステップ１００５）。この顔の画像領域のデータを、以下では、「人物画像データ」という。

次に、録画装置１０２の人物特徴量抽出部２１４は、人物画像データの画像特徴量を算出する（ステップ１００６）。画像特徴量とは、画像認識技術を用いて算出される画像の傾向を示す値である。画像特徴量には、例えば、画像の色分布やエッジパターンの構図分布やそれらの組合せ等を用いる。

次に、録画装置１０２の人物特徴量抽出部２１４は、算出した人物特徴量を対応する画像ＩＤに従い、記録媒体に記録する（ステップ１００７）。

次に、録画装置１０２の属性情報記録部２１６は、撮影時刻や撮影装置番号等の属性情報データを対応する画像ＩＤに従い、記録媒体に記録する（ステップ１００８）。記録の完了後、処理をステップ１０００に戻す。

次に、撮像装置２０１側の処理の流れを説明する。

撮像装置２０１は、撮像部２４１内に実装されたＣＣＤやＣＭＯＳ等の撮像素子からの撮像画像出力待機をおこなう（ステップ１０１０）。画像出力を検知すると処理は１０１１に進む。

撮像部２４１は、出力された撮像画像をデジタル変換する（ステップ１０１１）。

ステップ１０１２において、撮像装置２０１は、デジタル変換した画像は、いったん主記憶装置に蓄えられ、それをネットワークＩ／Ｆ２４５を介して、ネットワークにより、録画装置１０２へと送信する。

矢印１０２０は、撮像装置２０１と録画装置１０２間で通信がおこなわれることを表し、ここで、画像の通信の送受信がおこなわれる。

次に、図１０を用いて、映像再生処理について説明する。
図１０は、映像再生処理を示すフローチャートである。

映像再生処理は、録画装置１０２と端末装置１０３での各々における処理と、その間の通信処理を含んでおり、録画装置１０２に記録されている画像を端末装置１０３で再生する処理である。映像再生処理は、後述の人物検索処理とは非同期に実施可能である。

初めに、端末装置１０３側の処理の流れを説明する。

端末装置１０３の画面操作検知部２２５は、ユーザの再生操作待機をおこなう（ステップ１１００）。ユーザの再生操作を検知すると、処理はステップ１１０１に進む。

ここで検知する再生操作は、例えば、図８Ａの画像再生操作領域３００３を構成する各ボタンを押下すること、また例えば、図８Ｃの頭出し再生ボタン３０３２を押下すること等である。

次に、端末装置１０３の画面操作検知部２２５は、ユーザの再生操作内容に従って映像再生要求を決定する（ステップ１１０１）。映像再生要求は、パラメータとして、例えば、再生対象となる撮像装置番号や再生開始位置を示す画像ＩＤ、順再生や早送りのような再生の種類や再生の時間方向、再生の速度等を含んでいる。

次に、端末装置１０３の再生画像表示部２２４は、決定した映像再生要求を録画装置１０２へネットワーク２００を介して送信する（ステップ１１０２）。

次に、端末装置１０３の再生画像表示部２２４は、画像データの受信待機をおこなう（ステップ１１０３）。データの着信を検知すると処理はステップ１１０４に進む。

次に、端末装置１０３の再生画像表示部２２４は、録画装置１０２からの送信データを受信する（ステップ１１０４）。

次に、端末装置１０３の再生画像表示部２２４は、受信データの内容判定をおこなう（ステップ１１０５）。受信内容が画像データであった場合、処理をステップ１１０６に進める。受信内容が再生完了通知であった場合、処理をステップ１１００に戻す。

次に、端末装置１０３の再生画像表示部２２４は、受信した配信画像を画面上に表示する（ステップ１１０６）。表示の完了後、処理をステップ１１０３に戻す。

次に、録画装置１０２側の処理の流れを説明する。

先ず、録画装置１０２の画像送受信部は、映像再生要求受信待機をおこなう（ステップ１１１０）。映像再生要求着信を検知すると処理はステップ１１１１に進む。

次に、録画装置１０２の画像送受信部２１０は、端末装置からの映像再生要求を受信する（ステップ１１１１）。

次に、録画装置１０２の再生制御部２１２は、映像再生要求を基に映像再生の内容を決定する（ステップ１１１２）。映像再生の内容は、例えば、最初に配信する画像の画像ＩＤや配信する画像数、次に配信する画像の画像ＩＤ、配信タイミング等に基づくものである。

次に、録画装置１０２の画像記録部２１１は、記録媒体から画像を取り出す（ステップ１１１３）。取出しには、映像再生内容中の次に配信する画像の画像ＩＤを使用する。

次に、録画装置１０２の画像送受信部２１０は、送信時刻待機をおこなう（ステップ１１１４）。送信時刻は、映像再生内容中の配信タイミングを使用する。送信時刻に達すると処理は、ステップ１１１５に進む。

次に、録画装置１０２の画像送受信部２１０は、取出した画像を端末装置１０３へネットワーク２００を介して送信する（ステップ１１１５）。

次に、録画装置１０２の再生制御部は、映像再生の完了判定をおこなう（ステップ１１１６）。完了判定は、先に決定した映像再生内容を満たす画像配信が完了したか否かで実施する。完了と判定された場合には、処理を、ステップ１１１７に進め、未完了と判定された場合には、処理をステップ１１１８に進める。

次に、録画装置１０２の画像送受信部２１０は、映像再生完了通知を端末装置へネットワーク２００を介して送信する（ステップ１１１７）。送信の完了後、処理をステップ１１１０に戻す。

次に、録画装置１０２の再生制御部２１２は、映像再生内容を更新する（ステップ１１１８）。この際に更新されるのは、次に配信する画像の画像ＩＤと配信タイミングである。更新の完了後、処理をステップ１１１３に戻す。

矢印１１２０〜１１２２は、録画装置１０２と端末装置１０３間の通信を表している。端末装置１０３は、録画装置１０２に、映像再生要求を送信する（矢印１１２０）。録画装置１０２は、端末装置１０３に、画像データを送信する（矢印１１２１）。録画装置１０２は、端末装置１０３に、映像再生完了通知をおこなう（矢印１１２２）。

次に、図１１Ａ、図１１Ｂを用いて、人物検索処理について説明する。
図１１Ａ、図１１Ｂは、人物検索処理を示すフローチャートである。

人物検索処理は、での各々における処理と、その間の通信処理を含んでおり、画像データからユーザの所望の人物を検索する処理である。

本実施形態の説明においては、主に類似人物検索、キーワード付与、登場イベント検索時の処理の流れについて示し、検索キー画像の指定操作時や、チェックボックスや指定欄等へのユーザ操作時の処理の流れについては省略する。

初めに、端末装置１０３側の処理の流れを説明する。
次に、端末装置１０３の画面操作検知部２２５は、ユーザによる画面操作の待機をおこなう（ステップ９００）。ユーザ操作を検知すると処理は、ステップ９０１に進む。

次に、端末装置１０３の画面操作検知部２２５は、検知したユーザ操作の内容判定をおこなう（ステップ９０１）。

次に、端末装置１０３の画面操作検知部２２５は、ステップ９０１において、操作内容を類似人物検索実行操作と判定した場合、処理をステップ９０３に進め、そうでない場合には、処理をステップ９０９に進める（ステップ９０２）。。

次に、端末装置１０３の検索要求送信部２２１は、キーワード指定チェックボックスの状態をチェックする。キーワード指定チェックボックスが選択状態であった場合、処理をステップ９０４に進め、非選択状態であった場合、処理をステップ９０５に進める（ステップ９０３）。

次に、端末装置１０３の検索要求送信部２２１は、キーワード指定欄に入力されている内容を、キーワードとして類似人物検索要求に追加する（ステップ９０４）。

次に、端末装置１０３の検索要求送信部２２１は、類似人物検索要求を録画装置１０２にネットワーク２００を介して送信する（ステップ９０５）。この類似人物検索要求は、検索キー画像と、指定状況に応じて、検索絞込パラメータ指定領域に指定した絞込パラメータも含んでいる。

次に、端末装置１０３の検索結果受信部２２２は、検索結果の受信待機をおこなう（ステップ９０６）。データの着信を検知すると処理は、ステップ９０７に進む。

次に、端末装置１０３の検索結果受信部２２２は、録画装置１０２から送信された類似人物検索結果を受信する（ステップ９０７）。この類似人物検索結果は、検索結果画像やその画像の撮影時刻情報等の属性情報データや、検索キー画像に対する検索結果画像の類似度情報等をそれぞれの画像に含んでいる。

次に、端末装置１０３の検索結果表示部２２４は、受信した検索結果の画面表示をおこなう（ステップ９０８）。図８Ｃに示したのはその表示画面の一例である。表示を完了すると端末装置１０３は、処理をステップ９００に戻す。

次に、端末装置１０３の画面操作検知部２２５は、ステップ９０１において、操作内容をキーワード付与操作と判定した場合、処理をステップ９１０に進め、そうでない場合には、処理をステップ９１１に進める（ステップ９０９）。

次に、端末装置１０３のキーワード付与要求送信部は、キーワード付与要求を録画装置１０２にネットワーク２００を介して送信する（ステップ９１０）。このキーワード付与要求は、キーワード指定欄に入力されている内容をキーワードとして含み、また、キーワード付与チェックボックスが選択状態となっている検索結果画像の番号をキーワード付与対象画像として含んだものである。

次に、端末装置１０３の画面操作検知部２２５は、ステップ９０１において、操作内容を登場イベント検索操作と判定した場合、処理をステップ９１２に進め、そうでない場合には、処理をステップ９００に戻す（ステップ９１１）。実際は、他の操作に関する処理も存在するが、説明の簡略化のため省略する。

次に、端末装置１０３の検索要求送信部２２１は、キーワード指定チェックボックスの状態をチェックする。キーワード指定チェックボックスが選択状態であった場合、処理をステップ９１３に進め、非選択状態であった場合、処理をステップ９１４に進める（ステップ９１２）。

次に、端末装置１０３の検索要求送信部２２１は、キーワード指定欄に入力されている内容をキーワードとして登場イベント検索要求に追加する（ステップ９１３）。

次に、端末装置１０３の検索要求送信部２２１は、登場イベント検索要求を録画装置１０２にネットワーク２００を介して送信する（ステップ９１４）。この登場イベント検索要求は、指定状況に応じて、検索絞込パラメータ指定領域に指定した絞込パラメータも含んでいる。

次に、端末装置１０３の検索結果受信部２２２は、検索結果の受信待機をおこなう（ステップ９１５）。データの着信を検知すると処理は、ステップ９１６に進む。

次に、端末装置１０３の検索結果受信部２２２は、録画装置１０２から送信された登場イベント検索結果を受信する（ステップ９１６）。この登場イベント検索結果は、検索結果画像やその画像の撮影時刻情報等の属性情報データをそれぞれの画像に含んでいる。

次に、端末装置１０３の検索結果表示部２２４は、受信した検索結果の画面表示をおこなう（ステップ９１７）。図８Ｇに示したのはその表示画面の一例である。表示を完了すると端末装置１０３は、処理をステップ９００に戻す。

次に、録画装置１０２側の処理の流れを説明する。

次に、録画装置１０２の要求受信部２１７は、要求の受信待機をおこなう（ステップ９３０）。要求の着信を検知すると処理はステップ９３１に進む。

次に、録画装置１０２の要求受信部２１７は、端末装置１０３から送信された要求を受信する（ステップ９３１）。

次に、録画装置１０２の要求受信部２１７は、受信した要求内容の判定をおこなう（ステップ９３２）。

次に、録画装置１０２の要求受信部２１７は、ステップ９３２において、受信要求内容を類似人物検索要求と判定した場合、処理をステップ９３４に進め、そうでない場合には、処理をステップ９４２に進める（ステップ９３３）。

次に、録画装置１０２の人物領域検出部２１３は、ステップ９３１で受信した類似人物検索要求に含まれる検索キー画像に対して、人物検出をおこなう（ステップ９３４）。人物検出は、公知の従来技術で実施することができる。ここで人物検出とは人物全体の検出であっても、人物特定の代表的な部位である顔の検出であってもよい。

次に、録画装置１０２の人物領域検出部２１３は、ステップ９３４で求めた人物検出結果から、画像中の人物領域を算出し、人物画像データを求める（ステップ９３５）。

次に、録画装置１０２の人物特徴量抽出部２１４は、求めた人物画像データから検索キー画像の人物特徴量を算出する（ステップ９３６）。算出する特徴量の種類や算出方法は、公知の従来技術と同様である。

次に、録画装置１０２の類似人物検索部２１８は、ステップ９３６で求めた検索キー画像の人物特徴量に基づき類似人物検索を実施する（ステップ９３７）。検索は、検索キー画像の人物特徴量と録画装置１０２に記録されている各画像の人物特徴量との比較から、その類似度を算出し、ある一定以上の類似度を有する画像を検索結果画像として生成することによりおこなわれる。検索結果は、上記の画像の集合の他に、画像の撮影時刻情報等の属性データ情報と上述の類似度情報をそれぞれの画像に含んでいる。また、検索結果画像は、録画装置１０２に記録されている各画像を縮小化した画像を使用してもよい。

次に、録画装置１０２の要求受信部２１７は、ステップ９３１にて受信した類似人物検索要求の中にキーワードが含まれるか否かを判定する（ステップ９３８）。含まれていると判定した場合、処理をステップ９３９に進め、そうでない場合、処理をステップ９４１に進める。

次に、録画装置１０２のキーワード検索部１１１は、ステップ９３１で受信した類似人物検索要求の中に含まれたキーワード（受信キーワード）を基にキーワード検索をおこなう（ステップ９３９）。ここでは、受信キーワードと一致するキーワードを付与された記録画像を探し出す。

次に、録画装置１０２のキーワード検索部１１１は、ステップ９３７で得られた類似人物検索結果と、ステップ９３９で得られたキーワード検索結果を統合する（ステップ９４０）。具体的には、類似人物検索結果に含まれて、かつ、キーワード検索結果にも含まれる画像を、類似人物検索結果から削除する。

次に、録画装置１０２の検索結果送信部は、類似人物検索結果を端末装置１０３へネットワーク２００を介して送信する（ステップ９４１）。送信完了後、処理をステップ９３０に戻す。

次に、録画装置１０２の要求受信部２１７は、ステップ９３２において、受信要求内容をキーワード付与要求と判定した場合、処理をステップ９４３に進め、そうでない場合には、処理をステップ９４４に進める（ステップ９４２）。

次に、録画装置１０２のキーワード記録部１１０は、ステップ９３１で受信したキーワード付与要求に含まれる画像番号を有する記録画像に対して、キーワードを付与する（ステップ９４３）。付与完了後、処理をステップ９３０に戻す。

次に、録画装置１０２の要求受信部２１７は、ステップ９３２において、受信要求内容を登場イベント検索要求と判定した場合、処理をステップ９４５に進め、そうでない場合には、処理をステップ９３０に戻す（ステップ９４４）。

次に、録画装置１０２の登場イベント検索部２１９は、ステップ９３１で受信した登場イベント検索要求に含まれる絞込パラメータを基に登場イベント検索を実施する（ステップ９４５）。検索結果は、画像の集合の他に、画像の撮影時刻情報等の属性データ情報をそれぞれの画像に含んでいる。また、検索結果画像は、録画装置１０２に記録されている各画像を縮小化した画像を使用してもよい。

次に、録画装置１０２の要求受信部２１７は、ステップ９３１にて受信した登場イベント検索要求の中にキーワードが含まれるか否かを判定する（ステップ９４６）。含まれていると判定した場合、処理をステップ９４７に進め、そうでない場合、処理をステップ９４９に進める。

次に、録画装置１０２のキーワード検索部１１１は、ステップ９３１で受信した登場イベント検索要求の中に含まれたキーワード（受信キーワード）を基にキーワード検索をおこなう（ステップ９４７）。ここでは、受信キーワードと一致するキーワードを付与された記録画像を探し出す。

次に、録画装置１０２のキーワード検索部１１１は、ステップ９４５で得られた登場イベント検索結果と、ステップ９４７で得られたキーワード検索結果を統合する（ステップ９４８）。具体的には、登場イベント検索結果に含まれて、かつ、キーワード検索結果にも含まれる画像を、新たに登場イベント検索結果として生成する。

次に、録画装置１０２の検索結果送信部は、登場イベント検索結果を端末装置１０３へネットワーク２００を介して送信する（ステップ９４９）。送信完了後、処理をステップ９３０に戻す。

矢印９６０〜９６２は、録画装置１０２と端末装置１０３間の通信を表している。端末装置１０３は、録画装置１０２に、類似人物検索要求、キーワード付与要求、登場イベント検索要求の通信をおこなう（矢印９６０）。録画装置１０２は、端末装置１０３に、類似人物検索結果の通信をおこなう（矢印９６１）。録画装置１０２は、端末装置１０３に、登場イベント検索結果をおこなう（矢印９６２）。

ここまでに示したように、本実施形態に示した類似画像検索システムより、複数回の類似人物検索による検索結果と、登場イベント検索による検索結果とを、キーワード付与を通じて、効果的に再利用することを可能とした。

ここまでの説明においては、撮像装置や録画装置、端末装置は、各１台に限られず、図１に示したように、撮像装置や端末装置が複数台接続されていてもよい。また、図１では、録画装置は、１台のみであったが、録画装置が複数台接続されていてもよい。

本実施形態の類似画像検索システムでは、図７で示したように、複数のユーザが複数台の端末装置にて、同一の人物に関する類似検索を同時並行に実施する利用法に対しても有効である。

本実施形態においては、人物検索に関わる人物検出処理や人物特徴量抽出処理等を録画装置上で実施する構成で説明したが、ネットワークで接続された録画装置とは別個の装置にて実施するようにしてもよい。

また、本実施形態においては、キーワードが文字列であるように示したが、特定の番号や記号列にて実施するようにしてもよい。

また、本実施形態においては、キーワード付与対象となる検索結果画像の指定にチェックボックスを用いたが、検索結果画像自身が、マウス等にて、直接選択指示できるような指定方法であってもよい。

さらに、本実施形態においては、人物検索を対象に示したが、本発明は人物だけでなく一般的な画像検索にも適用することができる。

１０２…録画装置、１０３，１０３ａ，１０３ｂ…端末装置、６１１，６１２…ユーザ、１１０…キーワード記録部、１１１…キーワード検索部、１１２…キーワード付与要求送信部、２００…ネットワーク、２０１…撮像装置、２０２…録画装置、２０３…端末装置、２１０…画像送受信部、２１１…画像記録部、２１２…再生制御部、２１３…人物領域検出部、２１４…人物特徴量抽出部、２１５…人物特徴量記録部、２１６…属性情報記録部、２１７…要求受信部、２１８…類似人物検索部２１８、２１９…登場イベント検索部、２２０…検索結果送信部、２２１…検索要求送信部、２２２…検索結果受信部、２２３…検索結果表示部、２２４…再生画像表示部、２２５…画面操作検知部、３００１…再生画像表示領域、３００２…動画、３００３…画像再生操作領域、３００４…検索キー画像指定領域、３００５…検索キー画像、３００６…映像指定ボタン、３００７…ファイル指定ボタン、３００８…検索絞込パラメータ指定領域、３００９〜３０１２…撮像装置指定チェックボックス、３０１３〜３０１４…時刻指定チェックボックス、３０１５〜３０１６…時刻指定欄、３０１７…検索実行領域、３０１８…類似人物検索ボタン、３０１９…登場イベント検索ボタン、３０２０…検索結果表示領域、３０３１，３０４１，３０５１，３０６１，３０７１，３０８１，３０９１，３１０１，３１１１，３１２１，３１３１，３１４１…検索結果画像、３０３２…頭出し再生ボタン、３０３３…検索キー画像指定ボタン、４０１７…検索実行領域、４０２０…検索結果表示領域、４０２１…キーワード指定チェックボックス、４０２２…キーワード指定欄、４０２３…キーワード付与ボタン、４０３４…キーワード付与チェックボックス、４１４３…検索キー画像指定ボタン、４１５１，４１６１，４１７１，４１８１，４１９１，４２０１，４２１１，４２２１，４２３１，４２４１，４２５１，４２６１…検索結果画像。

Claims (3)

1. 撮影された人物の画像の画像データを複数記憶し、前記画像の特徴量を抽出して、画像間の類似度を評価し、キー画像を指定して、そのキー画像に類似度が高い画像を検索する類似画像検索システムにおいて、
   録画装置と、該録画装置とネットワークで接続される複数の端末装置と、を備え、
   前記端末装置は、記憶する前記画像からキー画像による類似人物検索の実行を指示する類似人物検索ボタンと、記憶する前記画像から人物の登場する画像を探し出す登場イベント検索の実行を指示する登場イベント検索ボタンと、前記類似人物検索及び登場イベント検索の対象とする画像を撮影したカメラもしくは時間により指定するための検索絞込パラメータ指定領域と、検索結果表示領域と、に加えて、キーワード指定欄と、該検索結果表示領域に表示された画像のうち選択状態の画像に対して該キーワード指定欄に入力されたキーワードの付与実行を指示する付与ボタンと、を表示してユーザの操作を受け付け、
   前記録画装置は、
   前記画像データの書込み及び読出しを行う画像記録手段と、
   前記画像の特徴量の書込み及び読出しを行う人物特徴量記録手段と、
   前記画像を撮影したカメラもしくは時刻の少なくとも一方を含む属性情報の書込み及び読出しを行う属性情報記録手段と、
   前記端末装置からの要求に従い、前記選択状態の画像に前記キーワード指定欄に入力されたキーワードを付与するキーワード記録手段と、
   前記端末装置から受けた前記類似人物検索の要求に、前記キーワード指定欄に入力されたキーワードが含まれていれば、該キーワードが付与された画像を検索対象から除いて、該類似人物検索をおこなう類似画像検索手段と、
   前記端末装置から受けた前記登場イベント検索の要求に、前記キーワード指定欄に入力されたキーワードが含まれていれば、該キーワードが付与された画像のみを対象として画像検索をおこなう登場イベント検索手段と、
   前記類似画像検索手段及び前記登場イベント検索手段から得た検索結果を要求元の前記端末装置へ送信する検索結果送信手段と、を有することを特徴とする類似画像検索システム。
2. 前記端末装置は、前記キーワード指定欄の有効・無効を指定するキーワード指定チェックボックスを更に表示してユーザの操作を受け付け、前記キーワード指定欄の有効が指定された時だけ、該キーワード指定欄のキーワードを前記類似人物検索の要求に含めて前記録画装置に送信し、
   前記画像記録手段は、画像毎にＩＤを付して記録し、前記人物特徴量記録手段及び前記属性情報記録手段は、対応する画像の前記ＩＤと対応付けて前記特徴量及び前記キーワードをそれぞれ記録し、
   前記検索結果送信手段は、前記検索結果として、画像データと、該検索結果画像の属性情報データと、前記キー画像に対する該検索結果画像の類似度情報とを、それぞれの検索結果画像について含み、
   前記端末装置は、前記該キーワードが付与された画像を検索対象から除いて行われた類似画像検索結果を受信したときは、前記検索結果画像を初期的に全て非選択状態とし、前記登場イベント検索手段の前記検索結果を受信したときは、前記検索結果画像を初期的に全て選択状態として、前記検索結果領域に表示することを特徴とする請求項１記載の類似画像検索システム。
3. 撮影された人物の画像の画像データを複数記憶し、前記画像の特徴量を抽出して、画像間の類似度を評価し、キー画像を指定して、そのキー画像に類似度が高い画像を検索する類似画像検索システムの類似画像検索方法において、
   前記類似画像検索システムは、録画装置と、該録画装置とネットワークで接続される複数の端末装置と、を備え、
   前記端末装置が、記憶する前記画像からキー画像による類似人物検索の実行を指示する類似人物検索ボタンと、記憶する前記画像から人物の登場する画像探し出す登場イベント検索の実行を指示する登場イベント検索ボタンと、前記類似人物検索及び登場イベント検索の対象とする画像を撮影したカメラもしくは時間により指定するための検索絞込パラメータ指定領域と、検索結果表示領域と、に加えて、キーワード指定欄と、該検索結果表示領域に表示された画像のうち選択状態の画像に対して該キーワード指定欄に入力されたキーワードの付与実行を指示する付与ボタンと、を表示してユーザの操作を受け付けるステップと、
   前記録画装置が、前記画像データの書込み及び読出しを行う画像記録ステップと、
   前記録画装置が、前記画像の特徴量の書込み及び読出しを行う人物特徴量記録ステップと、
   前記録画装置が、前記画像を撮影したカメラもしくは時刻の少なくとも一方を含む属性情報の書込み及び読出しを行う属性情報記録ステップと、
   前記録画装置が、前記端末装置からの要求に従い、前記選択状態の画像に前記キーワード指定欄に入力されたキーワードを付与するキーワード記録ステップと、
   前記録画装置が、前記端末装置から受けた前記類似人物検索の要求に、前記キーワード指定欄に入力されたキーワードが含まれていれば、該キーワードが付与された画像を検索対象から除いて、該類似人物検索をおこなう類似画像検索ステップと、
   前記録画装置が、前記端末装置から受けた前記登場イベント検索の要求に、前記キーワード指定欄に入力されたキーワードが含まれていれば、該キーワードが付与された画像のみを対象として画像検索をおこなう登場イベント検索ステップと、
   前記録画装置が、前記類似画像検索ステップ及び前記登場イベント検索ステップにおいて得た検索結果を要求元の前記端末装置へ送信する検索結果送信ステップと、を有することを特徴とする類似画像検索方法。

Images