JP2015143921A - 画像検索システム、画像検索装置及び画像検索方法 - Google Patents

Abstract

【課題】ユーザが指定した軌跡に類似する移動物体の軌跡を検索する。【解決手段】映像を撮影する撮影部と、プロセッサ及び記憶部を有し、前記映像に含まれる画像を検索する検索部と、前記検索部に入力される情報を受ける入力部と、前記検索部から出力される情報を表示する表示部と、を有する画像検索システムであって、前記記憶部は、前記映像から抽出された複数の移動物体の移動経路を示す軌跡の形状を示す情報を保持し、前記検索部は、前記入力部から軌跡の形状を示す情報を入力されると、前記記憶部に保持された前記複数の移動物体の軌跡から、前記入力された軌跡の形状と類似する軌跡を検索し、前記検索された軌跡に沿って移動した前記移動物体の画像を前記表示部に表示させる。【選択図】図１

Description

本発明は、画像検索技術に関する。

本技術分野の背景技術として、特開２０１３−１５０２１８号公報（特許文献１）がある。特許文献１には、「動画検索装置において、受付部は、静止画像、静止画像内の２つの参照位置、動画フレーム内の２つの目標位置、の入力を受け付ける。抽出部は、静止画像から２つの参照位置を含む参照画像を抽出する。検索部は、動画像に含まれるフレーム画像から、参照画像に類似する局所画像が描画される類似フレーム画像を検索し、局所画像内において、２つの参照位置に対応する開始位置に描画される２つの注目画素の、動画像において類似フレーム画像から時間を進行あるいは逆行させた際の２つの移動軌跡を追跡し、２つの移動軌跡が２つの目標位置の近傍に至る目標フレーム画像を検索し、類似フレーム画像と目標フレーム画像とを含む動画像を、検索結果とする。」と記載されている。

特開２０１３−１５０２１８号公報

撮影された映像から、例えば不審人物又は不審車両等の移動物体の画像を検索しようとする場合に、当該移動物体を特徴づける情報、例えば当該移動物体の移動経路又は外見上の特徴等の情報は得られているが、実際に当該移動物体を撮影した画像が特定されていない場合がある。このような場合にユーザが入力した当該移動物体の特徴に基づいて当該移動物体の画像を検索することはできなかった。

上記の課題を解決するために、本発明の一態様は、映像を撮影する撮影部と、プロセッサ及び記憶部を有し、前記映像に含まれる画像を検索する検索部と、前記検索部に入力される情報を受ける入力部と、前記検索部から出力される情報を表示する表示部と、を有する画像検索システムであって、前記記憶部は、前記映像から抽出された複数の移動物体の移動経路を示す軌跡の形状を示す情報を保持し、前記検索部は、前記入力部から軌跡の形状を示す情報を入力されると、前記記憶部に保持された前記複数の移動物体の軌跡から、前記入力された軌跡の形状と類似する軌跡を検索し、前記検索された軌跡に沿って移動した前記移動物体の画像を前記表示部に表示させることを特徴とする。

本発明の一態様によれば、検索対象の移動物体を実際に撮影した映像の有無にかかわらず、ユーザが指定した軌跡に類似する移動物体の軌跡を検索することができる。上記した以外の課題、構成、および効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１の画像検索システムの全体構成図である。 本発明の実施例１の画像検索システムのハードウェア構成図である。 本発明の実施例１の映像データベースの構成及びデータ例の説明図である。 本発明の実施例１のサーバ計算機が入力された映像を登録する処理を説明するフローチャートである。 本発明の実施例１のサーバ計算機が軌跡を検索する処理を説明するフローチャートである。 本発明の実施例１のサーバ計算機によって出力される検索画面の説明図である。 本発明の実施例２の画像検索システムの全体構成図である。 本発明の実施例２の映像データベースの構成及びデータ例の第１の説明図である。 本発明の実施例２の映像データベースの構成及びデータ例の第２の説明図である。 本発明の実施例２のサーバ計算機が入力された映像を登録する処理を説明するフローチャートである。 本発明の実施例２のサーバ計算機による検索処理を説明するフローチャートである。 本発明の実施例２のサーバ計算機によって出力される検索画面の説明図である。 本発明の実施例３の画像検索システムによって実行される地図情報を用いた軌跡検索の説明図である。 本発明の実施例３の画像検索システムによって実行されるカメラ画像上の軌跡の地図上の軌跡への変換の説明図である。 本発明の実施例４のサーバ計算機によって出力される検索画面の説明図である。

以下、図面を参照して本発明の実施例を説明する。

図１は、本発明の実施例１の画像検索システム１００の全体構成図である。

本実施例の画像検索システム１００は、映像記憶装置１０１、映像撮影装置１０２、入力装置１０３、表示装置１０４、およびサーバ計算機１０５を備える。

映像記憶装置１０１は、映像データを保存し、要求に応じて出力する記憶媒体であり、コンピュータ内蔵のハードディスクドライブ、または、ＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）もしくはＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークで接続されたストレージシステムを用いて構成することができる。

映像撮影装置１０２は、映像を撮影して映像データを作成し、それを出力する装置である。

映像記憶装置１０１又は映像撮影装置１０２から出力された画像は、いずれもサーバ計算機１０５の映像入力部１０６（後述）に入力される。画像検索システム１００は、図１に示すように映像記憶装置１０１及び映像撮影装置１０２の両方を備えてもよいが、いずれか一方のみを備えてもよい。画像検索システム１００が映像記憶装置１０１及び映像撮影装置１０２の両方を備える場合、映像入力部１０６への映像データの入力元が必要に応じて映像記憶装置１０１又は映像撮影装置１０２に切り替えられてもよいし、映像撮影装置１０２から出力された映像データが一旦映像記憶装置１０１に記憶され、そこから映像入力部１０６に入力されてもよい。その場合、映像記憶装置１０１は、例えば、映像撮影装置１０２から継続的に入力される映像データを一時的に保持するキャッシュメモリであってもよい。

なお、映像記憶装置１０１に保存される映像データ及び映像撮影装置１０２によって作成される映像データは、撮影された物体の追跡に利用できるものである限り、どのような形式のデータであってもよい。例えば、映像撮影装置１０２がビデオカメラであり、それによって撮影された動画像データが映像データとして出力されてもよいし、そのような映像データが映像記憶装置１０１に記憶されてもよい。あるいは、映像撮影装置１０２がスチルカメラであり、それによって所定の間隔（少なくとも撮影された物体を追跡できる程度の間隔）で撮影された一連の静止画像データが映像データとして出力されてもよいし、そのような映像データが映像記憶装置１０１に記憶されてもよい。

入力装置１０３は、マウス、キーボード、タッチデバイスなど、ユーザの操作をサーバ計算機１０５に伝えるための入力インタフェースである。表示装置１０４は、液晶ディスプレイなどの出力インタフェースであり、サーバ計算機１０５の検索結果の表示、ユーザとの対話的操作などのために用いられる。例えばいわゆるタッチパネル等を用いることによって入力装置１０３と表示装置１０４とが一体化されてもよい。

サーバ計算機１０５は、入力された映像データから、ユーザに指定された検索条件に基づいて所望の画像を検索する画像検索装置として機能する。具体的には、サーバ計算機１０５は、与えられた映像データの各フレームに含まれる移動物体を追跡し、その移動物体に関する情報を蓄積する。ユーザが蓄積されたフレームから探したい移動物体の検索条件を指定すると、サーバ計算機１０５は、蓄積された情報を用いて画像を検索する。サーバ計算機１０５が扱う映像は、一箇所以上の場所で撮影された定点観測の映像であることを想定している。また、検索対象の物体は、人物または車両などの任意の移動物体である。サーバ計算機１０５は、映像入力部１０６、フレーム登録部１０７、移動物体追跡部１０８、軌跡特徴抽出部１０９、軌跡特徴登録部１１０、映像データベース１１１、軌跡入力部１１２、軌跡特徴変換部１１３及び類似ベクトル検索部１１４を備える。

映像入力部１０６は、映像記憶装置１０１から映像データを読み出すか、又は映像撮影装置１０２によって撮影された映像データを受け取り、それをサーバ計算機１０５内部で使用するデータ形式に変換する。具体的には、映像入力部１０６は、映像（動画データ形式）をフレーム（静止画データ形式）に分解する動画デコード処理を行う。得られたフレームは、フレーム登録部１０７及び移動物体追跡部１０８に送られる。

フレーム登録部１０７は、抽出されたフレームと抽出元の映像の情報を映像データベース１１１に書き込む。映像データベース１１１に記録するデータの詳細については図３の説明として後述する。

移動物体追跡部１０８は、映像中の移動物体を検出し、前フレームの移動物体との対応付けを行うことによって、移動物体の追跡を行う。移動物体の検出及び追跡は、任意の方法を用いて実現することができる。追跡によって得られた移動物体の軌跡（すなわちその移動物体の移動経路）は、始点と終点を有するベクトルとして表現され、軌跡情報は、各フレームの移動物体の座標情報と各軌跡にユニークに付与されるＩＤ（追跡ＩＤ）で構成される。

軌跡特徴抽出部１０９は、同一の追跡ＩＤが付与された移動物体の座標から、軌跡の形状の特徴量（以下、軌跡特徴量とも記載）を抽出し、軌跡特徴登録部１１０は、抽出された軌跡特徴量を映像データベース１１１に登録する。

映像データベース１１１は、映像、フレーム、及び移動物体の軌跡情報等を保存するためのデータベースである。後述するように軌跡情報には軌跡特徴量が含まれるため、サーバ計算機１０５は、入力された軌跡特徴量と類似する軌跡特徴量を有する移動物体の画像を検索することができる。軌跡特徴量の検索機能は、例えば、クエリとして入力された軌跡特徴量と近い順にデータを並び替えて出力する機能である。軌跡特徴量の比較には、例えば、軌跡特徴量ベクトル間のユークリッド距離を用いることができる。映像データベース１１１へのアクセスは、フレーム登録部１０７及び軌跡特徴登録部１１０からの登録処理、並びに、類似ベクトル検索部１１４からの検索処理の際に発生する。映像データベース１１１の構造について、詳しくは図３の説明として後述する。

軌跡入力部１１２は、ユーザが入力した軌跡の情報（例えば座標値の列）を入力装置１０３から受け取る。軌跡特徴変換部１１３は、入力された軌跡の特徴量を取得する。類似ベクトル検索部１１４は、入力された軌跡特徴量と類似する軌跡特徴量を映像データベース１１１から検索して、その結果を表示装置１０４に出力する。

図２は、本発明の実施例１の画像検索システム１００のハードウェア構成図である。

サーバ計算機１０５は、例えば、相互に接続されたプロセッサ２０１および記憶装置２０２を有する一般的な計算機である。記憶装置２０２は任意の種類の記憶媒体によって構成される。例えば、記憶装置２０２は、半導体メモリ及びハードディスクドライブを含んでもよい。

この例において、図１に示した映像入力部１０６、フレーム登録部１０７、移動物体追跡部１０８、軌跡特徴抽出部１０９、軌跡特徴登録部１１０、軌跡入力部１１２、軌跡特徴変換部１１３及び類似ベクトル検索部１１４といった機能部は、プロセッサ２０１が記憶装置２０２に格納された処理プログラム２０３を実行することによって実現される。言い換えると、この例において、上記の各機能部が実行する処理は、実際には、処理プログラム２０３に記述された命令に従うプロセッサ２０１によって実行される。また、映像データベース１１１は、記憶装置２０２に含まれる。

サーバ計算機１０５は、さらに、プロセッサに接続されたネットワークインターフェース装置（ＮＩＦ）２０４を含む。映像撮影装置１０２は、例えば、ネットワークインターフェース装置２０４を介してサーバ計算機１０５に接続される。映像記憶装置１０１は、ネットワークインターフェース装置２０４を介してサーバ計算機１０５に接続されたＮＡＳまたはＳＡＮであってもよいし、記憶装置２０２に含まれてもよい。

図３は、本発明の実施例１の映像データベース１１１の構成及びデータ例の説明図である。ここではテーブル形式の構成例を示すが、データ形式は任意でよい。

映像データベース１１１は、映像データ管理情報３００、背景画像データ管理情報３１０及び軌跡特徴量管理情報３２０を含む。図３のテーブル構成および各テーブルのフィールド構成は、本発明を実施する上で必要となる構成であり、アプリケーションに応じてテーブル及びフィールドを追加してもよい。

映像データ管理情報３００は、映像ＩＤフィールド３０１、ファイル名フィールド３０２、及び撮影場所ＩＤフィールド３０３を有する。映像ＩＤフィールド３０１は、各映像データの識別情報（以下、映像ＩＤ）を保持する。ファイル名フィールド３０２は、映像記憶装置１０１から読み込まれた映像データのファイル名を保持する。映像データが映像撮影装置１０２から入力される場合は、ファイル名を省略してもよい。撮影場所ＩＤフィールド３０３は、定点観測された場所の識別情報（以下、撮影場所ＩＤ）を保持する。映像ＩＤと撮影場所との対応は、アプリケーションで管理してもよいし、映像データベース１１１に撮影場所の管理情報（図示省略）を追加することで管理してもよい。入力された映像データが固定カメラによって撮影された場合は、撮影場所ＩＤをカメラＩＤと読み替えてもよい。図３の例のように、一つの撮影場所に対して、複数の映像ファイルが登録されてもよい。この場合、当該複数の映像ファイルには、例えば、設置場所及び撮影方向が固定された一つのカメラがそれぞれ異なる時間帯に撮影した映像データが含まれる。

背景画像データ管理情報３１０は、撮影場所ＩＤフィールド３１１及び背景画像データフィールド３１２を有する。撮影場所ＩＤフィールド３１１は、背景画像の撮影場所の識別情報を保持するフィールドであり、この識別情報は、映像データ管理情報３００に保持される撮影場所ＩＤと対応する。背景画像データフィールド３１２は、各撮影場所で撮影された背景画像のデータを保持する。ここに保持される背景画像は、後述するように、ユーザが検索しようとする移動物体の軌跡を入力するときに表示されるものであるため、それぞれの撮影場所において移動物体を撮影するものと同じカメラによって撮影された、いずれの移動物体も含まない画像であることが望ましい。

軌跡特徴量管理情報３２０は、追跡ＩＤフィールド３２１、映像ＩＤフィールド３２２、開始日時フィールド３２３、終了日時フィールド３２４、座標フィールド３２５及び軌跡特徴量フィールド３２６を有する。

追跡ＩＤフィールド３２１は、移動物体追跡部１０８が各移動物体を追跡するために用いる識別情報（以下、追跡ＩＤ）を保持する。移動物体を追跡することで得られた各軌跡にユニークな追跡ＩＤが与えられる。映像ＩＤフィールド３２２は、追跡対象の移動物体の画像を含む映像データの識別番号を保持する。この識別番号は、映像データ管理情報３００に保持される映像ＩＤと対応する。

開始日時フィールド３２３及び終了日時フィールド３２４は、それぞれ、各軌跡の始点及び終点の画像が撮影された日時を保持する。この日時に基づいて、移動物体が各軌跡上を移動した時刻が特定される。座標フィールド３２５は、追跡された移動物体の画像の各時刻における画面上の座標を保持する。この座標を時刻の順に連結したものが各移動物体の軌跡となる。軌跡特徴量フィールド３２６は、映像中の移動物体の座標の時系列変化から抽出した軌跡特徴量を保持する。軌跡特徴量は、例えば固定長のベクトルによって表現されるものであり、座標フィールド３２５に保持された値から任意の公知の方法によって抽出することができる。

図４は、本発明の実施例１のサーバ計算機１０５が入力された映像を登録する処理を説明するフローチャートである。以下、図４の各ステップについて説明する。

最初に、映像入力部１０６が、映像記憶装置１０１又は映像撮影装置１０２から入力された映像データをデコードし、フレームを静止画として抽出する（ステップＳ４０１）。

次に、サーバ計算機１０５内の各部が、ステップＳ４０１で抽出された各フレームに対して、ステップＳ４０２〜Ｓ４１１を実行する。

移動物体追跡部１０８は、処理対象のフレームから移動物体を検出し、検出した移動物体を前の時刻のフレームから検出された移動物体と対応付ける（ステップＳ４０３）。

次に、移動物体追跡部１０８は、新しい移動物体が出現したか否かを判定する（ステップＳ４０４）。具体的には、移動物体追跡部１０８は、処理対象のフレームから検出した移動物体が前の時刻のフレームから検出されたいずれの移動物体とも対応付けられなかった（言い換えると、処理対象のフレームから検出された移動物体と同一の移動物体の画像が前の時刻のフレームに含まれていないと判定された）場合、新しい移動物体が出現したと判定する。

新しい移動物体が出現した場合、移動物体追跡部１０８は、当該新しい移動物体に新しい追跡ＩＤを付与し、軌跡特徴登録部１１０は、当該新しい追跡ＩＤと、当該新しい移動物体が検出された映像の映像ＩＤと、当該新しい移動物体が検出されたフレームの撮影日時と、をそれぞれ映像データベース１１１の軌跡特徴量管理情報３２０内の追跡ＩＤフィールド３２１、映像ＩＤフィールド３２２及び開始日時フィールド３２３に登録する（ステップＳ４０５）。一方、新しい移動物体が出現しなかった場合、ステップＳ４０５は実行されない。

次に、軌跡特徴登録部１１０は、軌跡特徴量管理情報３２０内の座標フィールド３２５に、ステップＳ４０３で検出された移動物体の座標を追加する（ステップＳ４０６）。

次に、移動物体追跡部１０８は、移動物体が消失したか否かを判定する（ステップＳ４０７）。具体的には、移動物体追跡部１０８は、前の時刻のフレームから検出された移動物体がステップＳ４０３で検出されたいずれの移動物体とも対応付けられなかった（言い換えると、前の時刻のフレームから検出された移動物体と同一の移動物体の画像が処理対象のフレームに含まれていないと判定された）場合、当該前の時刻のフレームから検出された移動物体が消失したと判定する。

移動物体が消失した場合、軌跡特徴抽出部１０９が当該消失した移動物体の軌跡から軌跡特徴量を抽出し（ステップＳ４０８）、続いて抽出された軌跡特徴量を軌跡特徴登録部１１０が軌跡特徴量管理情報３２０内の軌跡特徴量フィールド３２６に登録し（ステップＳ４０９）、当該消失した移動物体が最後に検出されたフレーム（すなわち前の時刻のフレーム）の撮影日時を終了日時フィールド３２４に登録する（ステップＳ４１０）。一方、移動物体が消失しなかった場合、軌跡がさらに延長される可能性があるため、ステップＳ４０８〜Ｓ４１０は実行されない。

映像データから抽出された全てのフレームについてステップＳ４０３〜Ｓ４１０が終了すると、フレーム登録部１０７は、背景画像を、背景画像データ管理情報３１０の当該映像データに対応する背景画像データフィールド３１２に登録する（ステップＳ４１２）。具体的には、フレーム登録部１０７は、ステップＳ４０１で抽出されたフレームのいずれかを背景画像として登録する。このとき、例えば、移動物体が一つも検出されなかったフレームを背景画像として登録してもよい。なお、背景画像は一つの撮影場所に一つ登録されていれば十分であるため、既に背景画像が登録されている撮影場所については、図４の処理を実行する度にステップＳ４１２を実行することで背景画像を更新してもよいし、ステップＳ４１２を省略してもよい。

全てのフレームについて上記の処理が終了すると、入力された映像を登録する処理が終了する。

図５は、本発明の実施例１のサーバ計算機１０５が軌跡を検索する処理を説明するフローチャートである。以下、図５の各ステップについて説明する。

最初に、ユーザが入力装置１０３を用いて撮影場所ＩＤをサーバ計算機１０５に入力すると（ステップＳ５０１）、サーバ計算機１０５は背景画像データ管理情報３１０を参照して、入力された撮影場所ＩＤに対応する背景画像データを読み出し、そのデータに基づいて背景画像を表示装置１０４に表示する（ステップＳ５０２）。

次に、ユーザが入力装置１０３を用いて軌跡入力部１１２に軌跡を入力すると（ステップＳ５０３）、軌跡特徴変換部１１３が入力された軌跡を軌跡特徴量に変換する（ステップＳ５０４）。この変換は、軌跡特徴抽出部１０９が図４のステップＳ４０８において実行する軌跡特徴量の抽出と同様の方法で行われる。

次に、類似ベクトル検索部１１４が、ステップＳ５０４で変換された軌跡特徴量をクエリとして軌跡特徴量管理情報３２０を検索する（ステップＳ５０５）。これによって、軌跡特徴量管理情報３２０から、ユーザが入力した軌跡と類似する軌跡が検索される。

次に、類似ベクトル検索部１１４が検索結果を表示装置１０４に出力し、表示装置１０４が検索結果を類似度の順に表示する（ステップＳ５０６）。

以上で軌跡を検索する処理が終了する。

図６は、本発明の実施例１のサーバ計算機１０５によって出力される検索画面の説明図である。図６を参照して、図５の処理におけるユーザからの情報の入力方法及び検索結果の表示方法の一例を説明する。

表示装置１０４によって表示される検索画面は、撮影場所選択エリア６０１、撮影場所表示エリア６０２、検索ボタン６０３及び検索結果表示エリア６０４を含む。

撮影場所選択エリア６０１には、背景画像データ管理情報３１０に登録された各撮影場所の背景画像が表示される。ユーザが入力装置１０３を操作してこれらの背景画像のいずれかを選択することで、その背景画像に対応する撮影場所ＩＤが指定され（ステップＳ５０１）、指定された撮影場所の背景画像が撮影場所表示エリア６０２に表示される（ステップＳ５０２）。例えば撮影場所選択エリア６０１には各撮影場所の背景画像が縮小表示され、撮影場所表示エリア６０２には指定された撮影場所の背景画像が拡大表示されてもよい。

ユーザは、撮影場所表示エリア６０２に表示された背景画像上で軌跡を入力する（ステップＳ５０３）。例えば、ユーザは、入力装置１０３であるマウスを操作してポインタ（マウスカーソル）６０５を入力しようとする軌跡の始点に置き、マウスボタンを押して、ポインタ６０５を軌跡に沿って動かすようにドラッグし、軌跡の終点でマウスボタンを離すことで、軌跡６０６ａが入力される。

あるいは、表示装置１０４が例えば入力装置１０３としての機能も有するタッチパネルである場合、ユーザが撮影場所表示エリア６０２に表示された背景画像上の軌跡の始点を指又はペン等によってタッチし、軌跡に沿って終点までスワイプしてもよい。あるいは、ユーザがマウスクリック又はタッチによって背景画像上のいくつかの点を指定し、サーバ計算機１０５がベジエ曲線等によってそれらの点を補間することによって軌跡を生成してもよい。図６の例において、軌跡６０６ａ矢印の向きが軌跡の始点から終点に向かう方向であり、物体がその方向に移動する軌跡を示している。後述する他の軌跡についても同様である。サーバ計算機１０５は、マウスボタンが解放されたときのポインタ６０５の位置、又はユーザがタッチパネルから指を離した位置を軌跡の終点として認識することで、入力された軌跡の方向を決定してもよいし、さらに、軌跡の終点に自動的に矢印を表示してもよい。

入力された軌跡６０６ａは軌跡特徴量に変換される（ステップＳ５０４）。ユーザがマウス等を用いて検索ボタン６０３を操作すると、類似軌跡検索が実行され（ステップＳ５０５）、その結果が検索結果表示エリア６０４に表示される（ステップＳ５０６）。図６に示すように、検索結果として画像６０４ａ、６０４ｂ及びその他の画像（図示省略）が表示される。

画像６０４ａには、指定された撮影場所の背景画像上に、検索結果として得られた軌跡６０６ｂが表示され、さらに、当該軌跡６０６ｂに対応する移動物体（この例では人物）６０７ａの画像が表示される。すなわち、軌跡６０６ｂは移動物体６０７ａが移動した軌跡である。例えば、検索された軌跡の開始日時から終了日時までのいずれかの時点のフレームの画像上に、検索された軌跡を示す矢印を重畳表示することによって画像６０４ａが生成されてもよい。この場合、図６に示すように、表示されたフレームが撮影された日時が表示されてもよい。画像６０４ｂも同様に、別の検索された軌跡６０６ｃ及びそれに対応する移動物体６０７ｂの画像を含む。

なお、検索結果表示エリア６０４には、背景画像及び移動物体の画像を表示せずに、検索された軌跡を示す矢印のみを表示してもよい。あるいは、いずれかの時点のフレームの画像（すなわち静止画像）ではなく、検索された軌跡の開始日時から終了日時までの映像を再生し、それを検索結果表示エリア６０４に表示してもよい。

また、図５及び図６の例では、検索条件として撮影場所及び軌跡が指定されたが、さらに時刻が指定されてもよい。この場合、図６に示す検索画面にさらに時刻指定エリア（図示省略）が設けられ、ユーザが入力装置１０３を操作して時刻（例えば検索対象の時間帯）を入力する。この場合、ユーザに指定された時間帯に開始時刻から終了時刻までの時間が含まれる軌跡が検索される。あるいは、検索条件として撮影場所が指定されなくてもよい。その場合、撮影場所にかかわらず、類似する軌跡が検索される。

以上の本発明の実施例１によれば、ユーザが指定した任意の軌跡に類似する移動物体の軌跡を検索することができる。これによって、例えば、検索対象の移動物体を実際に撮影した映像が特定されていない場合であっても、目撃情報又は周囲の状況等からその移動物体の軌跡が推定されるときには、その軌跡に類似する軌跡を描いて移動した移動物体の画像を検索することができる。

次に、本発明の実施例２の画像検索システム１００について説明する。以下に説明する相違点を除き、実施例２の画像検索システム１００の各部は、図１〜図６に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

図７は、本発明の実施例２の画像検索システム１００の全体構成図である。

本実施例の画像検索システム１００は、映像記憶装置１０１、映像撮影装置１０２、入力装置１０３、表示装置１０４、およびサーバ計算機１０５を備える。映像記憶装置１０１、映像撮影装置１０２、入力装置１０３及び表示装置１０４は、実施例１と同様であるため、説明を省略する。

実施例２のサーバ計算機１０５は、実施例１と同様の映像入力部１０６、フレーム登録部１０７、移動物体追跡部１０８、軌跡特徴抽出部１０９及び軌跡特徴登録部１１０に加えて、顔検知部７０１、顔特徴抽出部７０２、顔特徴登録部７０３、頭部検知部７１１、頭部特徴抽出部７１２、頭部特徴登録部７１３、服飾検知部７２１、服飾特徴抽出部７２２、服飾特徴登録部７２３、複数特徴入力部７３１、類似ベクトル検索部７３２及び検索結果統合部７３３を有する。また、実施例２のサーバ計算機１０５は映像データベース１１１を有するが、そこに登録される情報には、図８Ａ及び図８Ｂを参照して後述するように、実施例１と相違する部分がある。

顔検知部７０１、頭部検知部７１１及び服飾検知部７２１は、それぞれ、フレームの画像から人物の顔領域、頭部領域及び服飾領域を検知する。顔特徴抽出部７０２、頭部特徴抽出部７１２及び服飾特徴抽出部７２２は、それぞれ、顔領域、頭部領域及び服飾領域の画像特徴量を抽出する。例えばエッジ情報又は色情報等、画像から抽出できるものであればどのような種類の特徴量が抽出されてもよい。このような画像特徴量の抽出は、公知の方法を含む任意の方法によって行うことができる。顔特徴登録部７０３、頭部特徴登録部７１３及び服飾特徴登録部７２３は、それぞれ、顔領域、頭部領域及び服飾領域から抽出された画像特徴量（以下、それぞれ顔特徴量、頭部特徴量及び服飾特徴量とも記載する）を映像データベース１１１に登録する。

複数特徴入力部７３１は、ユーザが入力装置１０３を操作して入力した、検索キーとなる特徴量（例えば、軌跡特徴量、顔特徴量、頭部特徴量及び服飾特徴量）を指定する情報を受け付ける。類似ベクトル検索部７３２は、検索キーとして指定された特徴量ベクトルと類似する特徴量ベクトルを映像データベース１１１から検索する。検索結果統合部７３３は、複数の種類の特徴量の検索キーに基づく複数の検索結果を結合して出力する。これらの詳細な処理については後述する（図１０参照）。

なお、実施例２は、追跡対象の移動物体が人物である場合の画像検索システム１００の例を示している。顔領域、頭部領域及び服飾領域は、人物の識別に利用できる画像情報を含んでいると考えられる領域（以下、顕著領域とも記載する）の例である。したがって、サーバ計算機１０５は、上記以外の顕著領域を検知する顕著領域検知部、その検知領域から画像特徴量を抽出する画像特徴量抽出部、及びその画像特徴量を登録する画像特徴量登録部（いずれも図示省略）を含んでもよい。上記以外の顕著領域として、例えば、顔領域の一部である口領域、頭部領域の一部である髪領域、服飾領域の一部である上半身領域、下半身領域、又は、人物の所持品の領域（例えば鞄領域）等が挙げられる。

また、追跡対象の移動物体が人物以外の物体である場合には、その物体の種類に応じて適切な顕著領域が検知され、その特徴量が登録される。例えば追跡対象が自動車である場合、自動車の前面、後面、側面、タイヤ部分又はナンバープレート部分等が顕著領域として検知されてもよい。

実施例２の画像検索システム１００のハードウェア構成は、実施例１（図２参照）と同様であるため、説明を省略する。実施例２のサーバ計算機１０５の各機能部が実行する処理は、実際には、処理プログラム２０３に記述された命令に従うプロセッサ２０１によって実行される。

図８Ａ及び図８Ｂは、本発明の実施例２の映像データベース１１１の構成及びデータ例の説明図である。ここではテーブル形式の構成例を示すが、データ形式は任意でよい。

映像データベース１１１は、図８Ａに示す映像データ管理情報３００、背景画像データ管理情報３１０、軌跡特徴量管理情報８００、移動物体管理情報８１０及びフレーム画像管理情報８２０、並びに、図８Ｂに示す顔特徴量管理情報８３０、頭部特徴量管理情報８４０及び服飾特徴量管理情報８５０を含む。図８Ａ及び図８Ｂのテーブル構成および各テーブルのフィールド構成は、本発明を実施する上で必要となる構成であり、アプリケーションに応じてテーブル及びフィールドを追加してもよい。

実施例２の映像データ管理情報３００及び背景画像データ管理情報３１０は、実施例１と同様であるため、説明を省略する。

軌跡特徴量管理情報８００は、追跡ＩＤフィールド８０１、映像ＩＤフィールド８０２、移動物体ＩＤフィールド８０３及び軌跡特徴量フィールド８０４を有する。追跡ＩＤフィールド８０１、映像ＩＤフィールド８０２及び軌跡特徴量フィールド８０４は、それぞれ実施例１の追跡ＩＤフィールド３２１、映像ＩＤフィールド３２２及び軌跡特徴量フィールド３２６と同様であるため、説明を省略する。

移動物体ＩＤフィールド８０３は、それぞれの軌跡を構成する、各フレームから検出された移動物体の識別情報（以下、移動物体ＩＤ）のリストを保持する。ここで、移動物体ＩＤは、移動物体そのものを識別するものではなく、各フレームから検出された移動物体の画像を識別するものである。同一の移動物体の画像が複数のフレームから検出された場合には、それらの移動物体の画像の各々に別の（一意の）移動物体ＩＤが与えられ、それらの移動物体ＩＤが一つの追跡ＩＤに対応付けられる。

例えば、図８Ａに示すように、追跡ＩＤ「１」に対応する移動物体ＩＤフィールド８０３に「１、２、４、５、６、・・・」が登録されていることは、あるフレームから検出された移動物体ＩＤ「１」によって識別される移動物体の画像と、別のフレームから検出された移動物体ＩＤ「２」によって識別される移動物体の画像と、同様にそれぞれ別のフレームから検出された移動物体ＩＤ「４」、「５」、「６」によって識別される移動物体の画像とが、移動物体追跡部１０８によって相互に対応付けられた（すなわちそれらが同一の移動物体の画像と判定された）ことを意味する。

移動物体管理情報８１０は、移動物体ＩＤフィールド８１１、矩形座標フィールド８１２及び撮影日時フィールド８１３を含む。

移動物体ＩＤフィールド８１１は、各フレームから検出された移動物体ＩＤを保持する。この移動物体ＩＤは、軌跡特徴量管理情報８００の移動物体ＩＤフィールド８０３に保持されるものと対応する。

矩形座標フィールド８１２は、各フレームから検出された移動物体の画像の当該フレーム画像中に占める範囲を示す矩形座標を保持する。この座標は、例えば、移動物体の外接矩形の「左上隅の水平座標、左上隅の垂直座標、右下隅の水平座標、右下隅の垂直座標」という形式で表現されてもよいし、矩形の中心の座標、幅及び高さによって表現されてもよい。後述する矩形座標フィールド８３３、８４３及び８５３に保持される矩形座標の表現も同様であってよい。

撮影日時フィールド８１３は、各移動物体の画像を含むフレームが撮影された日時を保持する。

フレーム画像管理情報８２０は、フレームＩＤフィールド８２１、映像ＩＤフィールド８２２及び画像データフィールド８２３を含む。

フレームＩＤフィールド８２１は、映像データから抽出された各フレームの識別情報（以下、フレームＩＤ）を保持する。映像ＩＤフィールド８２２は、フレームの抽出元の映像を識別する映像ＩＤを保持するフィールドであり、この映像ＩＤは、映像データ管理情報３００の映像ＩＤフィールド３０１に保持される値に対応する。画像データフィールド８２３は、フレームの静止画像のバイナリデータであり、検索結果などを表示装置１０４に表示する際に用いられるデータを保持する。

顔特徴量管理情報８３０は、顔ＩＤフィールド８３１、フレームＩＤフィールド８３２、矩形座標フィールド８３３及び顔特徴量フィールド８３４を含む。

顔ＩＤフィールド８３１は、フレームの画像から顔検知部７０１によって検知された顔領域の識別情報（以下、顔ＩＤ）を保持する。フレームＩＤフィールド８３２は、顔領域が検知されたフレームのフレームＩＤを保持する。このフレームＩＤは、フレーム画像管理情報８２０のフレームＩＤフィールド８２１に保持されるものと対応する。矩形座標フィールド８３３は、検知された顔領域のフレーム画像に占める範囲を示す座標を保持する。顔特徴量フィールド８３４は、検知された顔領域から顔特徴抽出部７０２によって抽出された画像特徴量を保持する。

頭部特徴量管理情報８４０は、頭部ＩＤフィールド８４１、フレームＩＤフィールド８４２、矩形座標フィールド８４３及び頭部特徴量フィールド８４４を含む。

頭部ＩＤフィールド８４１は、フレームの画像から頭部検知部７１１によって検知された頭部領域の識別情報（以下、頭部ＩＤ）を保持する。フレームＩＤフィールド８４２は、頭部領域が検知されたフレームのフレームＩＤを保持する。このフレームＩＤは、フレーム画像管理情報８２０のフレームＩＤフィールド８２１に保持されるものと対応する。矩形座標フィールド８４３は、検知された頭部領域のフレーム画像に占める範囲を示す座標を保持する。頭部特徴量フィールド８４４は、検知された頭部領域から頭部特徴抽出部７１２によって抽出された画像特徴量を保持する。

服飾特徴量管理情報８５０は、服飾ＩＤフィールド８５１、フレームＩＤフィールド８５２、矩形座標フィールド８５３及び服飾特徴量フィールド８５４を含む。

服飾ＩＤフィールド８５１は、フレームの画像から服飾検知部７２１によって検知された服飾領域の識別情報（以下、服飾ＩＤ）を保持する。フレームＩＤフィールド８５２は、服飾領域が検知されたフレームのフレームＩＤを保持する。このフレームＩＤは、フレーム画像管理情報８２０のフレームＩＤフィールド８２１に保持されるものと対応する。矩形座標フィールド８５３は、検知された服飾領域のフレーム画像に占める範囲を示す座標を保持する。服飾特徴量フィールド８５４は、検知された服飾領域から服飾特徴抽出部７２２によって抽出された画像特徴量を保持する。

上記以外の顕著領域が検知され、その特徴量が抽出された場合には、当該顕著領域に関する上記と同様の情報が映像データベース１１１に保持される。

図９は、本発明の実施例２のサーバ計算機１０５が入力された映像を登録する処理を説明するフローチャートである。以下、図９の各ステップについて説明する。

最初に、映像入力部１０６が、映像記憶装置１０１又は映像撮影装置１０２から入力された映像データをデコードし、フレームを静止画として抽出する（ステップＳ９０１）。

次に、サーバ計算機１０５内の各部が、ステップＳ９０１で抽出された各フレームに対して、ステップＳ９０２〜Ｓ９１６を実行する。

フレーム登録部１０７は、抽出されたフレームを映像データベース１１１のフレーム画像管理情報８２０に登録する（ステップＳ９０３）。

移動物体追跡部１０８は、処理対象のフレームから移動物体を検出し、検出した移動物体を前の時刻のフレームから検出された移動物体と対応付ける（ステップＳ９０４）。

次に、軌跡特徴登録部１１０は、検出された移動物体の情報を映像データベース１１１の移動物体管理情報８１０に登録する（ステップＳ９０５）。

次に、移動物体追跡部１０８は、新しい移動物体が出現したか否かを判定する（ステップＳ９０６）。この判定は、図４のステップ４０４と同様の方法で行うことができる。

新しい移動物体が出現した場合、移動物体追跡部１０８は、当該新しい移動物体に新しい追跡ＩＤを付与し、軌跡特徴登録部１１０は、当該新しい追跡ＩＤと、当該新しい移動物体が検出された映像の映像ＩＤと、をそれぞれ映像データベース１１１の軌跡特徴量管理情報８００に登録する（ステップＳ９０７）。一方、新しい移動物体が出現しなかった場合、ステップＳ９０７は実行されない。

次に、軌跡特徴登録部１１０は、ステップＳ９０４における対応付けの結果に従って、軌跡特徴量管理情報８００に登録された移動物体ＩＤを更新する（ステップＳ９０８）。具体的には、軌跡特徴登録部１１０は、ステップＳ９０４において検出された移動物体が新たに出現したと判定された場合、当該移動物体の移動物体ＩＤを、ステップＳ９０７で追加された追跡ＩＤに対応する移動物体ＩＤフィールド８０３に追加し、ステップＳ９０４において検出された移動物体が前の時刻のフレームから検出された移動物体と対応付けられた場合、当該ステップＳ９０４において検出された移動物体の移動物体ＩＤを、当該前の時刻の移動物体と同一の追跡ＩＤに対応する移動物体ＩＤフィールド８０３に追加する。

次に、移動物体追跡部１０８は、移動物体が消失したか否かを判定する（ステップＳ９０９）。この判定は、図４のステップＳ４０７と同様に行うことができる。

移動物体が消失した場合、軌跡特徴抽出部１０９が当該消失した移動物体の軌跡から軌跡特徴量を抽出し（ステップＳ９１０）、続いて抽出された軌跡特徴量を軌跡特徴登録部１１０が軌跡特徴量管理情報８００内の軌跡特徴量フィールド８０４に登録する（ステップＳ９１１）。一方、移動物体が消失しなかった場合、軌跡がさらに延長される可能性があるため、ステップＳ９１０及びＳ９１１は実行されない。

次に、顔検知部７０１、頭部検知部７１１及び服飾検知部７２１が、それぞれ、処理対象のフレームの画像から顔領域、頭部領域及び服飾領域を検知する（ステップＳ９１２）。この検知は、公知の方法を含む任意の方法によって実行することができる。

次に、顔検知部７０１、頭部検知部７１１及び服飾検知部７２１は、それぞれの領域の検知に成功したか否かを判定する（ステップＳ９１３）。

顔検知部７０１が顔領域の検知に成功した場合、顔特徴抽出部７０２は、検知された顔領域から画像特徴量を抽出し（ステップＳ９１４）、顔特徴登録部７０３は、検知された顔領域の範囲を示す座標及び抽出された画像特徴量を、それぞれ、処理対象のフレームのフレームＩＤに対応する矩形座標フィールド８３３及び顔特徴量フィールド８３４に登録する（ステップＳ９１５）。

頭部検知部７１１が頭部領域の検知に成功した場合、頭部特徴抽出部７１２は、検知された頭部領域から画像特徴量を抽出し（ステップＳ９１４）、頭部特徴登録部７１３は、検知された頭部領域の範囲を示す座標及び抽出された画像特徴量を、それぞれ、処理対象のフレームのフレームＩＤに対応する矩形座標フィールド８４３及び頭部特徴量フィールド８４４に登録する（ステップＳ９１５）。

服飾検知部７２１が服飾領域の検知に成功した場合、服飾特徴抽出部７２２は、検知された服飾領域から画像特徴量を抽出し（ステップＳ９１４）、服飾特徴登録部７２３は、検知された服飾領域の範囲を示す座標及び抽出された画像特徴量を、それぞれ、処理対象のフレームのフレームＩＤに対応する矩形座標フィールド８５３及び服飾特徴量フィールド８５４に登録する（ステップＳ９１５）。

全てのフレームについて上記の処理が終了すると、入力された映像を登録する処理が終了する。

図１０は、本発明の実施例２のサーバ計算機１０５による検索処理を説明するフローチャートである。以下、図１０の各ステップについて説明する。

最初に、ユーザが検索に使用する特徴量を決定し、その結果を入力する（ステップＳ１００１）。ここでは、軌跡特徴量、顔特徴量、頭部特徴量及び服飾特徴量を検索に使用することが決定された場合について説明する。

上記のように検索に使用する特徴量が決定された場合、サーバ計算機１０５は、軌跡特徴量を用いた検索処理（ステップＳ１０１１〜１０１６）、顔特徴量を用いた検索処理（ステップＳ１０２１〜Ｓ１０２３）、頭部特徴量を用いた検索処理（ステップＳ１０３１〜Ｓ１０３３）、及び服飾特徴量を用いた検索処理（ステップＳ１０４１〜Ｓ１０４３）を、任意の順に、又は並列に実行する。

最初に、軌跡特徴量を用いた検索処理（ステップＳ１０１１〜Ｓ１０１６）を説明する。まず、サーバ計算機１０５は、ステップＳ１０１１〜Ｓ１０１４を順次実行する。これらは、それぞれ図５のステップＳ５０１〜Ｓ５０４と同様であるため、説明を省略する。ただし、ユーザからの入力は、複数特徴入力部７３１によって受け付けられる。次に、ユーザが入力装置１０３を操作して軌跡特徴量の重みを決定する（ステップＳ１０１５）。次に、類似ベクトル検索部７３２が、ステップＳ１０１３で入力された軌跡と類似する軌跡を映像データベース１１１の軌跡特徴量管理情報８００から検索する（ステップＳ１０１６）。この検索処理は、図５のステップＳ５０５と同様に実行される。

次に、顔特徴量を用いた検索処理（ステップＳ１０２１〜Ｓ１０２３）を説明する。まず、ユーザが入力装置１０３を操作して検索キーとなる顔を設定する（ステップＳ１０２１）。次に、ユーザが入力装置１０３を操作して顔特徴量の重みを決定する（ステップＳ１０２２）。次に、類似ベクトル検索部７３２が、ステップ１０２１で検索キーとして設定された顔に類似する顔を顔特徴量管理情報８３０から検索する（ステップＳ１０２３）。具体的には、類似ベクトル検索部７３２は、類似軌跡検索（ステップＳ５０５、Ｓ１０１６）と同様に、ステップ１０２１で検索キーとして設定された顔の画像特徴量のベクトルと、顔特徴量管理情報８３０に保持された顔特徴量のベクトルとの間のユークリッド距離を用いて、類似する顔を検索することができる。後述する類似頭部検索（ステップＳ１０３３）及び類似服飾検索（ステップＳ１０４３）も同様である。

次に、頭部特徴量を用いた検索処理（ステップＳ１０３１〜Ｓ１０３３）を説明する。まず、ユーザが入力装置１０３を操作して検索キーとなる頭部を設定する（ステップＳ１０３１）。次に、ユーザが入力装置１０３を操作して頭部特徴量の重みを決定する（ステップＳ１０３２）。次に、類似ベクトル検索部７３２が、ステップ１０３１で検索キーとして設定された頭部に類似する頭部を頭部特徴量管理情報８４０から検索する（ステップＳ１０３３）。

次に、服飾特徴量を用いた検索処理（ステップＳ１０４１〜Ｓ１０４３）を説明する。まず、ユーザが入力装置１０３を操作して検索キーとなる服飾を設定する（ステップＳ１０４１）。次に、ユーザが入力装置１０３を操作して服飾特徴量の重みを決定する（ステップＳ１０４２）。次に、類似ベクトル検索部７３２が、ステップ１０３１で検索キーとして設定された服飾に類似する服飾を服飾特徴量管理情報８５０から検索する（ステップＳ１０４３）。

次に、検索結果統合部７３３が、ステップＳ１０１６、Ｓ１０２３、Ｓ１０３３及びＳ１０４３の検索結果を統合する（ステップＳ１１１１）。具体的には、検索結果統合部７３３は、検索によって得られた軌跡特徴量、顔特徴量、頭部特徴量及び服飾特徴量の類似度に、それぞれ、ステップＳ１０１５、Ｓ１０２２、Ｓ１０３２及びＳ１０４２で決定された重み係数を掛けた値を合計することで総合的な類似度のスコアを得る。このとき、検索結果統合部７３３は、設定された重み係数をそのまま使用してもよいし、全ての特徴量の重み係数の合計値が１となるように正規化してそれを使用してもよい。

なお、例えば顔特徴量管理情報８３０に登録された顔特徴量が、移動物体管理情報８１０に登録されたどの人物の顔の特徴量であるかは、顔特徴量管理情報８３０に登録された矩形座標と移動物体管理情報８１０に登録された矩形座標とが重複するか否か（又はどの程度重複するか）に基づいて判定することができる。頭部特徴量及び服飾特徴量についても同様である。この判定を容易にするために、移動物体管理情報８１０は、それぞれの移動物体の画像が抽出されたフレームを識別するフレームＩＤをさらに含んでもよい。

次に、検索結果統合部７３３が検索結果及びスコアを表示装置１０４に出力し、表示装置１０４が検索結果をスコアが高い順に表示する（ステップＳ１１２１）。

以上で検索処理が終了する。

図１１は、本発明の実施例２のサーバ計算機１０５によって出力される検索画面の説明図である。図１１を参照して、図１０の処理におけるユーザからの情報の入力方法及び検索結果の表示方法の一例を説明する。

実施例２の表示装置１０４によって表示される検索画面は、映像再生エリア１１０１、カメラ内追跡結果表示エリア１１０２、全体像表示エリア１１０３、重み設定エリア１１０４、特徴量設定エリア１１０５、検索ボタン１１０６及び検索結果表示エリア１１０７を含む。

映像再生エリア１１０１には、ユーザが選択した撮影場所で撮影された映像が再生され、表示される。図１１では省略されているが、ユーザが撮影場所を選択するために、実施例２の表示装置１０４に図６の撮影場所選択エリア６０１が表示されてもよい。

ユーザが表示された映像に含まれる移動物体のいずれかを指定すると、指定された移動物体を当該映像内で追跡した結果がカメラ内追跡結果表示エリア１１０２に表示される。ここでは、移動物体が人物である例について説明する。例えば当該映像の複数のフレーム画像から切り出された、指定された人物の複数の画像が、撮影日時の順に並べて表示されてもよい。これから実行される検索の目的は、ユーザが指定した特徴に近い特徴を有する人物の画像を、当該映像、当該映像と同じ場所で撮影された別の映像、又は別の場所で撮影された映像から検索することであり、その人物と同一の人物（又は同一の人物ではないが類似する特徴を有する人物）の画像が映像再生エリア１１０１に表示された映像から発見された場合には、その画像を指定することができる。

ただし、例えば目撃情報から設定された特徴量（後述）のみが検索キーとして設定される場合のように、検索キーを設定するために移動物体の画像を参照する必要がない場合には、映像再生エリア１１０１に表示された画像をユーザが指定する必要がない。

全体像表示エリア１１０３には、移動物体の全体像が模式的に表示される。図１１の例では、人物の頭部、顔、上半身、下半身、鞄等の領域を含む人物の模式図が表示される。

重み設定エリア１１０４には、それぞれの特徴量の重みを設定するためのスライドバー又はその他の設定手段が表示される。図１１の例では、全体像表示エリア１１０３に表示された領域及び軌跡のそれぞれの特徴量の重みを設定するためのスライドバーが表示される。図１１の例では頭部、顔、上半身、下半身、鞄及び軌跡のそれぞれの特徴量に対応するスライドバーが表示されているが、図７〜図１０を参照して説明したように、頭部、顔、服飾及び軌跡に対応するスライドバーが表示されてもよいし、その他の任意の顕著領域の特徴量に対応するスライドバーが表示されてもよい。

特徴量設定エリア１１０５には、以下に具体例を説明するように、特徴量の設定画面が表示される。

例えば、ユーザは、軌跡特徴量を検索に使用することを決定した場合（ステップＳ１００１）、重み設定エリア１１０４から「軌跡」を選択し、撮影場所ＩＤを指定すると（ステップＳ１０１１）、指定された撮影場所の背景画像が特徴量設定エリア１１０５に表示される（ステップＳ１０１２）。続いて、ユーザは特徴量設定エリア１１０５に表示された背景画像上で、検索キーとなる軌跡を入力する（ステップＳ１０１３）。この入力は、実施例１のステップＳ５０３と同様に行うことができる。軌跡特徴抽出部は、入力された軌跡を軌跡特徴量に変換する（ステップＳ１０１４）。ユーザは、さらに、重み設定エリア１１０４に表示された「軌跡」に対応するスライドバーを操作することで、軌跡特徴量の重みを設定する（ステップＳ１０１５）。

あるいは、ユーザは、顔特徴量を検索に使用することを決定した場合（ステップＳ１００１）、重み設定エリア１１０４から「顔」を選択し、検索キーとなる顔を設定する（ステップ１０２１）。例えば、カメラ内追跡結果表示エリア１１０２に表示された複数の画像から切り出された複数の顔画像が特徴量設定エリア１１０５に表示され、ユーザがそれらの顔画像のいずれかを選択すると、選択された顔画像が検索キーとして設定されてもよい。ユーザは、さらに、重み設定エリア１１０４に表示された「顔」に対応するスライドバーを操作することで、顔特徴量の重みを設定する（ステップＳ１０２２）。

同様に、ユーザは、頭部特徴量を検索に使用することを決定した場合（ステップＳ１００１）、重み設定エリア１１０４から「頭部」を選択し、検索キーとなる頭部を設定し（ステップ１０３１）、頭部特徴量の重みを設定する（ステップＳ１０３２）。これらの手順は、例えば、顔特徴量及びその重みの設定と同様に実行することができる。

さらに、ユーザは、服飾特徴量を検索に使用することを決定した場合、重み設定エリア１１０４から「服飾」（図１１の例では「上半身」又は「下半身」でもよい）を選択し、検索キーとなる服飾を設定し（ステップ１０４１）、服飾特徴量の重みを設定する（ステップＳ１０４２）。これらの手順は、例えば、顔特徴量及びその重みの設定と同様に実行することができる。

あるいは、例えば服飾特徴量として色特徴量が設定される場合には、カメラ内追跡結果表示エリア１１０２に表示された画像から切り出された服飾画像ではなく、色見本又はカラーパレット等が特徴量設定エリア１１０５に表示され、ユーザがいずれかの色を選択してもよい。

図１０では省略されているが、他の顕著領域（例えば鞄領域）の特徴量が設定される場合も、上記と同様に行うことができる。設定された特徴量（例えば色等）が全体像表示エリア１１０３に表示された人物の模式図に反映されてもよい。

ユーザが検索ボタン１１０６を操作すると、検索に使用することが決定された特徴量について類似ベクトル検索が行われ（ステップＳ１０１６、Ｓ１０２３、Ｓ１０３３及びＳ１０４３）、設定された重みに基づいて検索結果が統合され（ステップＳ１１１１）、スコアの順に検索結果が検索結果表示エリア１１０７に表示される（ステップＳ１１２１）。検索結果表示エリア１１０７は、実施例１の検索結果表示エリア６０４と同様であってよいため、説明を省略する。

上記のように、本発明の実施例２によれば、実施例１と同様の軌跡特徴量だけでなく、一つ以上の画像特徴量に基づいて移動物体の画像を検索することができる。このとき、実際に撮影された画像から取得された画像特徴量（例えば映像再生エリア１１０１に表示された映像から切り出された顔画像の特徴量等）だけでなく、ユーザが直接入力した画像特徴量（例えばユーザによって色見本から選択された色特徴量）を検索キーとして指定することができる。あるいは、例えば検索しようとする人物が所持していると推定される所持品（例えば鞄）と類似する所持品を所持する別の人物の画像が得られる場合、その画像から抽出された所持品の特徴量を検索キーとして指定することもできる。

また、上記のように複数の特徴量を検索キーとして検索が行われる場合、それらの検索結果は重み付けをした上で統合される。例えばユーザがいずれかの特徴量を特に重視したい特徴量がある場合、その特徴量の重みを大きくすることができる。あるいは、ユーザは、例えば設定された検索キーの確度又はそれを用いた移動物体の識別のしやすさ等に基づいて重みを設定してもよい。具体的には、例えば、目撃情報に基づいて服飾の色特徴量を設定する場合、その目撃情報の確度が高いほど大きい重みを設定してもよい。あるいは、例えば鞄特徴量を設定する場合、その鞄の希少性が高いほど大きい重みを設定してもよい。あるいは、サーバ計算機１０５は、例えば顔領域に含まれる画像の「顔らしさ」を判定して、顔らしさが高いほど重みが大きくなるように重みを自動設定してもよい。他の顕著領域についても同様である。

このように、本発明の実施例２によれば、実際に撮影された検索対象の移動物体の画像の特徴量だけでなく、例えば目撃情報又はその他の情報に基づいて推定される一つ以上の特徴量を検索キーとして用い、さらにそれらの重みを任意に設定することによって、例えば種々の情報源からの情報を統合した検索キーを用いた検索など、自由度の高い検索を実現することができる。

次に、本発明の実施例３の画像検索システム１００について説明する。以下に説明する相違点を除き、実施例３の画像検索システム１００の各部は、図１〜図６に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

実施例３の映像データベース１１１は、実施例１で説明したものに加えて、地図情報及び座標変換情報を有する。地図情報は、映像記憶装置１０１に保持された映像を撮影した各カメラ、又は、映像撮影装置１０２に相当する各カメラの撮影範囲を含む空間の地図情報である。例えば各カメラが複数のフロアを有する建物内を撮影するように設置されている場合、地図情報は、その建物の３次元地図情報であってもよいし、フロアごとの平面図であってもよいし、その他の任意の形態の地図情報であってもよい。

座標変換情報は、各カメラによって撮影された映像から抽出されたフレーム画像上の座標と、地図上の座標との間の変換パラメータを特定する情報を含む。例えば、座標変換情報は、各カメラの設置位置、撮影方向及び画角等の情報を含んでもよい。サーバ計算機１０５は、それらの情報に基づいて、各カメラによって撮影された画像上の座標と地図上の座標との間の変換パラメータを算出し、それを用いて座標を変換することができる。あるいは、座標変換情報は、算出された変換パラメータそのものを含んでもよい。

図１２は、本発明の実施例３の画像検索システム１００によって実行される地図情報を用いた軌跡検索の説明図である。

実施例３の表示装置１０４は、撮影場所表示エリア６０２に、ユーザによって指定された撮影場所の背景画像の代わりに、検索対象の撮影場所を含むエリア（例えばその撮影場所を含むフロア）の地図を表示する。図１２の地図１２０１は、撮影場所表示エリア６０２に表示される地図の一例である。地図１２０１が示すフロアには、映像撮影装置１０２として５個のカメラが設置されている。座標変換情報が各カメラの設置位置等の情報を含んでいる場合、地図情報を座標変換情報と照合することによって、地図１２０１における各カメラの撮影範囲を特定することができる。図１２の撮影範囲１２０１ａ〜１２０１ｅは、それぞれのカメラの撮影範囲である。

ユーザは、図６の軌跡６０６ａの入力と同様の方法によって、地図１２０１上の軌跡１２０２を入力することができる。この軌跡１２０２は、複数のカメラの撮影範囲に跨る長い軌跡である。軌跡特徴変換部１１３は、入力された軌跡１２０２の地図上の座標（図１２の例では平面図上の座標）を軌跡入力部１１２から受けると、その座標を、各カメラによって撮影された画像上の座標（図１２の例では斜め下方向を俯瞰する画面上の座標）に変換する。具体的には、例えば、軌跡特徴変換部１１３は、入力された軌跡１２０２から、各カメラの撮影範囲１２０１ａ〜１２０１ｅのそれぞれに含まれる部分を切り出し、それらの部分の座標を、座標変換情報に基づいて、画像上の座標に変換する。このような変換は、公知の方法によって行うことができる。

図１２に示す画像１２０３ａ〜１２０３ｅは、それぞれのカメラが撮影範囲１２０１ａ〜１２０１ｅを撮影した画像であり、それぞれの中に矢印によって表示された軌跡１２０４ａ〜１２０４ｅは、軌跡１２０２のそれぞれの撮影範囲に含まれる部分の地図上の座標を画面上の座標に変換することによって得られた軌跡（すなわち軌跡１２０２のカメラ画像への写像）である。例えば軌跡１２０２に沿って移動した人物の画像は、画像１２０３ａ上では軌跡１２０４ａに沿って移動する。

軌跡特徴変換部１１３は、ステップＳ５０４（図５）において、上記の座標変換を行い、変換された軌跡（例えば軌跡１２０４ａ〜１２０４ｅ）を軌跡特徴量に変換する。類似ベクトル検索部１１４は、軌跡特徴変換部１１３から取得した軌跡特徴量に基づいて、実施例１と同様の検索を行い、その結果を出力する。

類似ベクトル検索部１１４は、ステップＳ５０６において、検索結果として得られた軌跡を、実施例１と同様にカメラ画像上の軌跡として表示装置１０４の検索結果表示エリア６０４に表示させてもよい。具体的には、図１２に示すように、一つの長い軌跡１２０２から複数の軌跡１２０４ａ〜１２０４ｅが得られ、それらを検索キーとして検索を実行した場合、軌跡１２０４ａ〜１２０４ｅの各々に類似する軌跡が検索結果として得られる。類似ベクトル検索部１１４は、検索結果として得られたそれぞれの軌跡を、図６に示した例と同様に、検索結果表示エリア６０４に表示させてもよい。

あるいは、類似ベクトル検索部１１４は、図１３を参照して説明するように、検索結果として得られたそれぞれのカメラ画像上の軌跡を地図上の軌跡に変換して表示させてもよいし、そのようにして変換された複数の地図上の軌跡を連結して一本の軌跡として表示させてもよい。

図１３は、本発明の実施例３の画像検索システム１００によって実行されるカメラ画像上の軌跡の地図上の軌跡への変換の説明図である。

画像１３０１ａ上の軌跡１３０２ａは、図１２の軌跡１２０４ａをキーとする検索結果として得られた軌跡の一例である。類似ベクトル検索部１１４は、軌跡１３０２ａの表示を含む画像１３０１ａをそのまま検索結果表示エリア６０４に表示させてもよいが、カメラ画像上の軌跡１３０２ａから地図１３０３上の軌跡１３０４ａを生成し、これらの画像（すなわち地図１３０３の画像上に軌跡１３０４ａを重畳した画像）を検索結果表示エリア６０４に表示させてもよい。類似ベクトル検索部１１４は、軌跡特徴変換部１１３が実行したものと逆の座標変換を行うことによって軌跡１３０２ａから、軌跡１３０２ａの地図１３０３への写像である軌跡１３０４ａを生成することができる。

類似ベクトル検索部１１４は、実施例１の場合と同様に、検索された軌跡１０３１ａに対応する移動物体の画像を出力してもよい。その場合、表示装置１０４がその移動物体の画像を軌跡１３０４ａの上に重畳表示してもよい。あるいは、表示装置１０４は、地図１３０３上には変換された軌跡のみを表示し、それとは別に、検索された移動軌跡に対応する移動物体のカメラ画像を表示してもよい。

同様の処理によって、類似ベクトル検索部１１４は、例えば画像１３０１ｂ上の軌跡１３０２ｂが検索結果として得られた場合、軌跡１３０２ｂを地図１３０３上の軌跡１３０４ｂに変換し、これを地図１３０３上に重畳して検索結果表示エリア６０４に表示させてもよい。

さらに、類似ベクトル検索部１１４は、軌跡１３０４ａ及び１３０４ｂが所定の条件を満たす場合、これらを連結した一本の軌跡１３０５を生成し、それを地図１３０３上に重畳して検索結果表示エリア６０４に表示させてもよい。

具体的には、例えば、軌跡特徴量管理情報３２０に保持された軌跡１３０２ａの終了日時から軌跡１３０２ｂの開始日時までの時間と、軌跡１３０４ａの終点の座標から軌跡１３０４ｂの終点の座標までの距離とから計算される移動速度が、物理的に可能と判断される範囲内であり、かつ、それぞれの軌跡に対応する画像の特徴量が類似する場合、軌跡１３０４ａ及び１３０４ｂが、同一の人物の連続した軌跡であると判定し、これらを連結してもよい。このような判定を行うために、実施例３の映像データベース１１１は、実施例２に示した顔特徴量管理情報８３０、頭部特徴量管理情報８４０及び服飾特徴量管理情報８５０と同様の情報を含んでもよい。

類似ベクトル検索部１１４は、同様にしてさらに他の軌跡を連結することによって、軌跡１２０２に類似する長い軌跡を検索結果表示エリア６０４の地図上に表示させることができる。

なお、図１３を参照して説明した検索結果の表示は、図１２を参照して説明した軌跡の入力とは独立に行うこともできる。例えば、ユーザが実施例１と同様の方法で軌跡を入力し、検索結果としてその軌跡に類似する軌跡が得られた場合に、その検索結果の軌跡が図１３に示すように表示されてもよい。

以上の本発明の実施例３によれば、地図上に描かれた移動物体の軌跡を入力して、それに類似するカメラ画像上の軌跡を検索することができ、さらに検索結果を地図上に描かれた軌跡として表示することができる。これによって、カメラによって撮影された映像以外の情報源（例えば目撃情報等）から特定された軌跡の入力、及び、検索結果として得られた軌跡の把握が容易になる。

次に、本発明の実施例４の画像検索システム１００について説明する。以下に説明する相違点を除き、実施例４の画像検索システム１００の各部は、図１〜図６に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

図１４は、本発明の実施例４のサーバ計算機１０５によって出力される検索画面の説明図である。

実施例４において、ユーザは、入力装置１０３を操作して、検索キーとなる複数の移動物体の軌跡を入力することができる。例えば、表示装置１０４が入力装置１０３も兼ねるタッチパネルである場合、ユーザは、二つの指示手段（例えば２本の指又は２本のペン）を同時にスワイプすることで軌跡６０６ａ及び６０６ｄを同時に入力してもよい。軌跡入力部１１２は、このようにして同時に入力された２本の軌跡を一つのグループとして扱う。あるいは、ユーザは、一つの指示手段を使って、又は入力装置１０３であるマウスによってポインタ６０５を動かすことによって、軌跡６０６ａ及び６０６ｄを順次入力し、さらにそれらが一つのグループであることを指定する情報を入力してもよい。軌跡入力部１１２は、このようにして指定された２本の軌跡を一つのグループとして扱う。

軌跡特徴変換部１１３は、一つのグループに含まれる２本の軌跡のそれぞれを軌跡特徴量に変換し、類似ベクトル検索部１１４は、２本の軌跡のグループに類似するグループを検索する。具体的には、例えば、類似ベクトル検索部１１４は、軌跡特徴量に基づいて、軌跡６０６ａに類似する形状の軌跡を検索し、さらに、軌跡６０６ｄに類似する形状の軌跡を検索してもよい。そして、類似ベクトル検索部１１４は、例えば軌跡６０６ａに類似する形状の軌跡６０６ｂが検索され、軌跡６０６ｄに類似する形状の軌跡６０６ｅが検索された場合、軌跡６０６ａと軌跡６０６ｂとの間の形状の類似度、軌跡６０６ｄと軌跡６０６ｅとの間の形状の類似度、及び、軌跡６０６ｂと軌跡６０６ｅとの間の開始日時及び終了日時の類似度に基づいて、軌跡６０６ａ及び６０６ｄのグループと、軌跡６０６ｂ及び６０６ｅのグループとの間の類似度のスコアを計算してもよい。

類似ベクトル検索部１１４は、他の検索された軌跡のグループについても同様に類似度のスコアを計算し、それに従って検索結果表示エリア６０４に検索結果を表示させてもよい。図１４の例では、軌跡６０６ｂ及び６０６ｅを含む画像６０４ａ、並びに、軌跡６０６ｃ及び６０６ｆを含む画像６０４ｂが表示される。軌跡６０６ｂ、６０６ｃ、６０６ｅ及び６０６ｆのそれぞれに対応する移動物体６０７ａ、６０７ｂ、６０７ｃ及び６０７ｄの画像がさらに表示されてもよい。

実施例１のサーバ計算機１０５は、上記と同様の方法で３本以上の軌跡の入力を受け付けて、それらの軌跡のグループに類似する軌跡のグループを検索してもよい。また、ユーザは、例えば１本の軌跡６０６ａを入力し、さらに、その軌跡６０６ａが複数の移動物体を含むグループの軌跡であることを示す情報を入力してもよい。例えば、ユーザは、円形の図形など、グループを示す所定の図形を軌跡６０６ａの始点に入力し、その図形を軌跡６０６ａの形に移動させることで軌跡６０６ａを軌跡のグループとして入力してもよい。このとき、ユーザは、軌跡のグループに含まれる軌跡の本数を指定する情報をさらに入力してもよい。

このようにして軌跡のグループが入力された場合、類似ベクトル検索部１１４は、例えば上記と同様の方法で、形状、開始日時及び終了日時が軌跡６０６ａに類似する、指定された本数の軌跡のグループを検索し、その結果を出力する。

本発明の実施例２において上記のように複数の移動物体の軌跡が指定されてもよい。その場合、ユーザは、さらに、それらの複数の移動物体の少なくとも一つの画像特徴量（例えば顔特徴量等）を指定してもよい。その場合、類似ベクトル検索部７３２は、上記の類似ベクトル検索部１１４と同様の検索に加えて、実施例２と同様の画像特徴量に基づく検索を実行し、検索結果統合部７３３がそれらの検索結果を統合して出力する。

以上の本発明の実施例４によれば、複数の移動物体を含む移動物体のグループも容易に検索することが可能になる。

なお、本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

また、図面には、実施例を説明するために必要と考えられる制御線及び情報線を示しており、必ずしも、本発明が適用された実際の製品に含まれる全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１００ 画像検索システム
１０１ 映像記憶装置
１０２ 映像撮影装置
１０３ 入力装置
１０４ 表示装置
１０５ サーバ計算機
１０６ 映像入力部
１０７ フレーム登録部
１０８ 移動物体追跡部
１０９ 軌跡特徴抽出部
１１０ 軌跡特徴登録部
１１１ 映像データベース
１１２ 軌跡入力部
１１３ 軌跡特徴変換部
１１４、７３２ 類似ベクトル検索部
３００ 映像データ管理情報
３１０ 背景画像データ管理情報
３２０、８００ 軌跡特徴量管理情報
７０１ 顔検知部
７０２ 顔特徴抽出部
７０３ 顔特徴登録部
７１１ 頭部検知部
７１２ 頭部特徴抽出部
７１３ 頭部特徴登録部
７２１ 服飾検知部
７２２ 服飾特徴抽出部
７２３ 服飾特徴登録部
７３１ 複数特徴入力部
７３３ 検索結果統合部
８１０ 移動物体管理情報
８２０ フレーム画像管理情報
８３０ 顔特徴量管理情報
８４０ 頭部特徴量管理情報
８５０ 服飾特徴量管理情報

Claims (11)

1. 映像を撮影する撮影部と、記憶部を有し、前記映像に含まれる画像を検索する検索部と、前記検索部に入力される情報を受ける入力部と、前記検索部から出力される情報を表示する表示部と、を有する画像検索システムであって、
   前記記憶部は、前記映像から抽出された複数の移動物体の移動経路を示す軌跡の形状を示す情報を保持し、
   前記検索部は、
   前記入力部から軌跡の形状を示す情報を入力されると、前記記憶部に保持された前記複数の移動物体の軌跡から、前記入力された軌跡の形状と類似する軌跡を検索し、
   前記検索された軌跡に沿って移動した前記移動物体の画像を前記表示部に表示させることを特徴とする画像検索システム。
2. 請求項１に記載の画像検索システムであって、
   前記記憶部は、さらに、前記映像から抽出された複数の種類の画像領域の画像特徴量を示す情報を保持し、
   前記検索部は、
   前記入力部から、前記軌跡の形状を示す情報に加えて、一つ以上の種類の画像領域の画像特徴量を示す情報と、前記軌跡の形状の特徴量及び前記一つ以上の種類の画像領域の画像特徴量の各々の重みを示す情報と、を入力されると、前記入力された軌跡の形状と前記記憶部に保持された前記複数の移動物体の軌跡の形状との類似度、前記入力された一つ以上の種類の画像領域の画像特徴量と前記記憶部に保持された画像特徴量との類似度、及び前記重みに基づいて、類似度のスコアを計算し、
   前記検索された軌跡に沿って移動した前記移動物体の画像を、前記類似度のスコアの順に、前記表示部に表示させることを特徴とする画像検索システム。
3. 請求項１に記載の画像検索システムであって、
   前記記憶部は、さらに、前記撮影部によって撮影された空間の地図情報と、前記空間の地図上の座標と前記撮影部によって撮影された映像上の座標との間の変換パラメータを特定する変換情報と、を保持し、
   前記検索部は、
   前記空間の地図を前記表示部に表示させ、
   前記空間の地図上の軌跡の形状を示す情報を入力されると、前記変換情報に基づいて、前記入力された軌跡の形状を、前記撮影部によって撮影された映像上の軌跡の形状に変換し、
   前記記憶部に保持された前記複数の移動物体の軌跡から、前記変換された軌跡の形状と類似する軌跡を検索することを特徴とする画像検索システム。
4. 請求項１に記載の画像検索システムであって、
   前記記憶部は、さらに、前記撮影部によって撮影された空間の地図情報と、前記空間の地図上の座標と前記撮影部によって撮影された映像上の座標との間の変換パラメータを特定する変換情報と、を保持し、
   前記検索部は、
   前記変換情報に基づいて、前記検索された軌跡の形状を、前記空間の地図上の軌跡の形状に変換し、
   前記空間の地図及び前記変換された軌跡の形状を前記表示部に表示させることを特徴とする画像検索システム。
5. 請求項１に記載の画像検索システムであって、
   前記記憶部は、前記複数の移動物体の移動時刻を示す情報をさらに保持し、
   前記検索部は、
   前記入力部から複数の軌跡の形状を示す情報を入力されると、前記記憶部に保持された前記複数の移動物体の軌跡から、前記入力された複数の軌跡の形状に類似し、かつ、前記移動時刻が所定の条件を満たす複数の移動物体の軌跡を検索し、
   前記検索された軌跡に沿って移動した前記複数の移動物体の画像を前記表示部に表示させることを特徴とする画像検索システム。
6. プロセッサと、前記プロセッサに接続される記憶部と、を有する画像検索装置であって、
   前記記憶部は、撮影部によって撮影された映像から抽出された複数の移動物体の移動経路を示す軌跡の形状を示す情報を保持し、
   前記プロセッサは、
   軌跡の形状を示す情報を入力されると、前記記憶部に保持された前記複数の移動物体の軌跡から、前記入力された軌跡の形状と類似する軌跡を検索し、
   前記検索された軌跡に沿って移動した前記移動物体の画像を出力することを特徴とする画像検索装置。
7. 請求項６に記載の画像検索装置であって、
   前記記憶部は、さらに、前記映像から抽出された複数の種類の画像領域の画像特徴量を示す情報を保持し、
   前記プロセッサは、
   前記軌跡の形状を示す情報に加えて、一つ以上の種類の画像領域の画像特徴量を示す情報と、前記軌跡の形状の特徴量及び前記一つ以上の種類の画像領域の画像特徴量の各々の重みを示す情報と、を入力されると、前記入力された軌跡の形状と前記記憶部に保持された前記複数の移動物体の軌跡の形状との類似度、前記入力された一つ以上の種類の画像領域の画像特徴量と前記記憶部に保持された画像特徴量との類似度、及び前記重みに基づいて、類似度のスコアを計算し、
   前記検索された軌跡に沿って移動した前記移動物体の画像を、前記類似度のスコアの順に表示するための情報を出力することを特徴とする画像検索装置。
8. 請求項６に記載の画像検索装置であって、
   前記記憶部は、さらに、前記撮影部によって撮影された空間の地図情報と、前記空間の地図上の座標と前記撮影部によって撮影された映像上の座標との間の変換パラメータを特定する変換情報と、を保持し、
   前記プロセッサは、
   前記空間の地図を出力し、
   前記空間の地図上の軌跡の形状を示す情報を入力されると、前記変換情報に基づいて、前記入力された軌跡の形状を、前記撮影部によって撮影された映像上の軌跡の形状に変換し、
   前記記憶部に保持された前記複数の移動物体の軌跡から、前記変換された軌跡の形状と類似する軌跡を検索することを特徴とする画像検索装置。
9. 請求項６に記載の画像検索装置であって、
   前記記憶部は、さらに、前記撮影部によって撮影された空間の地図情報と、前記空間の地図上の座標と前記撮影部によって撮影された映像上の座標との間の変換パラメータを特定する変換情報と、を保持し、
   前記プロセッサは、
   前記変換情報に基づいて、前記検索された軌跡の形状を、前記空間の地図上の軌跡の形状に変換し、
   前記空間の地図及び前記変換された軌跡の形状を示す情報を出力することを特徴とする画像検索装置。
10. 請求項６に記載の画像検索装置であって、
    前記記憶部は、前記複数の移動物体の移動時刻を示す情報をさらに保持し、
    前記プロセッサは、
    複数の軌跡の形状を示す情報を入力されると、前記記憶部に保持された前記複数の移動物体の軌跡から、前記入力された複数の軌跡の形状に類似し、かつ、前記移動時刻が所定の条件を満たす複数の移動物体の軌跡を検索し、
    前記検索された軌跡に沿って移動した前記複数の移動物体の画像を出力することを特徴とする画像検索装置。
11. 映像を撮影する撮影部と、プロセッサ及び記憶部を有し、前記映像に含まれる画像を検索する検索部と、前記検索部に入力される情報を受ける入力部と、前記検索部から出力される情報を表示する表示部と、を有する画像検索システムが実行する画像検索方法であって、
    前記記憶部は、前記映像から抽出された複数の移動物体の移動経路を示す軌跡の形状を示す情報を保持し、
    前記画像検索方法は、
    前記検索部が、前記入力部から軌跡の形状を示す情報を入力されると、前記記憶部に保持された前記複数の移動物体の軌跡から、前記入力された軌跡の形状と類似する軌跡を検索する手順と、
    前記検索部が、前記検索された軌跡に沿って移動した前記移動物体の画像を前記表示部に表示させる手順と、を含むことを特徴とする画像検索方法。