JP2010160733A - 検索結果表示方法、監視システム - Google Patents
検索結果表示方法、監視システム Download PDFInfo
- Publication number
- JP2010160733A JP2010160733A JP2009003446A JP2009003446A JP2010160733A JP 2010160733 A JP2010160733 A JP 2010160733A JP 2009003446 A JP2009003446 A JP 2009003446A JP 2009003446 A JP2009003446 A JP 2009003446A JP 2010160733 A JP2010160733 A JP 2010160733A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- search result
- display
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】各画像の相関関係を把握しやすい検索結果表示方法を提供する。
【解決手段】撮像装置と、録画装置と、端末装置を備えて類似画像を検索する監視システムをにおける検索結果表示方法を提供する。まず、検索画像に対する系列の軸を３軸用意する。この系列の軸としては、類似度差に対する類似度軸と、検索画像に対する距離差を系列とする距離軸と、検索画像に対する時間差を系列とする時間差軸とを用いる。そして、これらの３軸から構成される空間に検索結果画像を表示する。
【選択図】図９
【解決手段】撮像装置と、録画装置と、端末装置を備えて類似画像を検索する監視システムをにおける検索結果表示方法を提供する。まず、検索画像に対する系列の軸を３軸用意する。この系列の軸としては、類似度差に対する類似度軸と、検索画像に対する距離差を系列とする距離軸と、検索画像に対する時間差を系列とする時間差軸とを用いる。そして、これらの３軸から構成される空間に検索結果画像を表示する。
【選択図】図９
Description
本発明は、検索結果表示方法、監視システムに係り、特に画像特徴量を使った検索における検索結果表示方法、監視システムに関する。
従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダム、又は道路のような不特定多数の人が訪れる施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。
このような映像監視システムでは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送する。
監視センタに常駐する監視者は、その映像を監視し、目的や必要に応じて、注意をしたり、あるいは映像を録画・保存する。
このような映像監視システムでは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送する。
監視センタに常駐する監視者は、その映像を監視し、目的や必要に応じて、注意をしたり、あるいは映像を録画・保存する。
この映像監視システムで映像の録画・保存をするための記録媒体として、以前は、ビデオテープ等のシーケンシャル・アクセスの記憶媒体が用いられていた。
しかし、近年では、ハードディスクドライブ（ＨＤＤ）に代表されるランダムアクセス可能な記憶媒体が、映像監視システムに用いられる事例が増えてきている。
ランダムアクセス可能な記憶媒体は、映像の整理がしやすく、繰り返し使用に強いため、普及が進んでいる。
しかし、近年では、ハードディスクドライブ（ＨＤＤ）に代表されるランダムアクセス可能な記憶媒体が、映像監視システムに用いられる事例が増えてきている。
ランダムアクセス可能な記憶媒体は、映像の整理がしやすく、繰り返し使用に強いため、普及が進んでいる。
さらに、このランダムアクセス可能な記録媒体は、年々、大容量化が進んでいる。
この大容量化により、録画できる映像のデータ量が、飛躍的に増大している。これにより、長時間録画が可能になった。
しかしながら、大量の録画映像を目視でチェックする際の監視者の負担の増加が、問題として顕在化しつつある。
この大容量化により、録画できる映像のデータ量が、飛躍的に増大している。これにより、長時間録画が可能になった。
しかしながら、大量の録画映像を目視でチェックする際の監視者の負担の増加が、問題として顕在化しつつある。
従来の監視システムにおいては、画像データに埋め込まれた時刻や外部センサ値のテキストデータを検索するテキスト検索機能を備えるものが存在した。
さらに、近年では、画像情報を検索入力情報とする検索機能、いわゆる類似画像検索機能を搭載するシステムが普及してきている。このような画像検索機能のなかでも「人物検索機能」を備えた監視システムがよく用いられるようになってきている。
さらに、近年では、画像情報を検索入力情報とする検索機能、いわゆる類似画像検索機能を搭載するシステムが普及してきている。このような画像検索機能のなかでも「人物検索機能」を備えた監視システムがよく用いられるようになってきている。
人物検索機能とは、ある画像中に映っている人物をユーザが指定すると、その人物と同一人物が映っている他の映像を録画装置内から探し出し、ユーザに一覧提示する機能である。
この際、同一人物判定の手掛かりとして、人物の「顔」の画像が使われることが多い。
この際、同一人物判定の手掛かりとして、人物の「顔」の画像が使われることが多い。
ここで、図１０を参照して、顔の画像から人物を検索する人物検索機能を備えた、従来の監視システムＹの構成の例について説明する。
監視システムＹは、撮像装置２０１と、録画装置２０２と、端末装置２０３とが、ネットワーク２００で接続されて構成される。
監視システムＹは、撮像装置２０１と、録画装置２０２と、端末装置２０３とが、ネットワーク２００で接続されて構成される。
ネットワーク２００は、各装置を相互に接続しデータ通信を行う専用線やイントラネット、インターネット、無線ＬＡＮ等の通信線である。
撮像装置２０１は、ＣＣＤやＣＭＯＳ素子等で撮像した画像にデジタル変換処理を行い、変換された画像データを、ネットワーク２００を介して録画装置２０２へ出力するネットワークカメラや監視カメラ等の装置である。撮像装置２０１は、制御部と、撮像した画像を記憶する記憶部と、ネットワーク接続部とを備えている。
録画装置２０２は、ネットワーク２００を介して撮像装置２０１より入力された画像データをＨＤＤ等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。録画装置２０２は、制御部と、撮像装置２０１で撮像した画像データを記憶する記憶部と、画像データを取得して端末装置２０３に送信するネットワーク接続部とを備えている。また、録画装置２０２には、人物検索機能も搭載されており、画像認識技術を使って算出した画像特徴量の記録媒体への記録や似た画像特徴量を有する画像の記録媒体からの探索等も行う。
端末装置２０３は、ネットワーク２００を介して録画装置から取得した画像データを、液晶ディスプレイやＣＲＴ等のモニタに画面表示するＰＣ等の装置である。端末装置２０３は、キーボードやマウス等のユーザ入力部を備え、録画装置２０２に記録された映像の再生操作や動画表示、人物検索の実行操作や結果表示等を行うユーザインタフェースを提供する。
撮像装置２０１は、ＣＣＤやＣＭＯＳ素子等で撮像した画像にデジタル変換処理を行い、変換された画像データを、ネットワーク２００を介して録画装置２０２へ出力するネットワークカメラや監視カメラ等の装置である。撮像装置２０１は、制御部と、撮像した画像を記憶する記憶部と、ネットワーク接続部とを備えている。
録画装置２０２は、ネットワーク２００を介して撮像装置２０１より入力された画像データをＨＤＤ等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。録画装置２０２は、制御部と、撮像装置２０１で撮像した画像データを記憶する記憶部と、画像データを取得して端末装置２０３に送信するネットワーク接続部とを備えている。また、録画装置２０２には、人物検索機能も搭載されており、画像認識技術を使って算出した画像特徴量の記録媒体への記録や似た画像特徴量を有する画像の記録媒体からの探索等も行う。
端末装置２０３は、ネットワーク２００を介して録画装置から取得した画像データを、液晶ディスプレイやＣＲＴ等のモニタに画面表示するＰＣ等の装置である。端末装置２０３は、キーボードやマウス等のユーザ入力部を備え、録画装置２０２に記録された映像の再生操作や動画表示、人物検索の実行操作や結果表示等を行うユーザインタフェースを提供する。
端末装置２０３について、さらに詳しく説明すると、検索要求送信部２１１、検索結果受信部２１２、検索結果表示部２１３、映像再生表示部２１４を備えて構成される。
検索要求送信部２１１は、検索要求をネットワーク２００を介して録画装置２０２に送信する部位である。検索要求として送信するデータには、検索したい人物が映った画像が含まれる。以下、この画像を検索画像と呼ぶ。
検索結果受信部２１２は、検索結果をネットワーク２００を介して録画装置２０２から受信する部位である。検索結果として受信するデータには、録画装置２０２にて画像検索を実行して得られた画像の集合が含まれる。この画像の集合を構成する個々の画像は、録画装置２０２に記録された映像から縮小処理等を行って生成する。以降、この個々の画像を検索結果画像と称する。
検索結果表示部２１３は、検索結果受信部２１２にて受信した検索結果を液晶ディスプレイ等の表示部に表示する部位である。検索結果表示部２１３が表示する画面例については後述する。
映像再生表示部２１４は、録画装置２０２に記録された映像を再生し、画面表示する処理部である。映像再生表示部２１４は、ポインティングデバイスやキーボード等である入力部からのユーザによる再生操作を検知して、再生命令への変換や再生命令のネットワーク２００を介しての録画装置２０２への送信、ネットワーク２００を介して録画装置２０２から受信した映像データの画面表示等を行う。
検索要求送信部２１１は、検索要求をネットワーク２００を介して録画装置２０２に送信する部位である。検索要求として送信するデータには、検索したい人物が映った画像が含まれる。以下、この画像を検索画像と呼ぶ。
検索結果受信部２１２は、検索結果をネットワーク２００を介して録画装置２０２から受信する部位である。検索結果として受信するデータには、録画装置２０２にて画像検索を実行して得られた画像の集合が含まれる。この画像の集合を構成する個々の画像は、録画装置２０２に記録された映像から縮小処理等を行って生成する。以降、この個々の画像を検索結果画像と称する。
検索結果表示部２１３は、検索結果受信部２１２にて受信した検索結果を液晶ディスプレイ等の表示部に表示する部位である。検索結果表示部２１３が表示する画面例については後述する。
映像再生表示部２１４は、録画装置２０２に記録された映像を再生し、画面表示する処理部である。映像再生表示部２１４は、ポインティングデバイスやキーボード等である入力部からのユーザによる再生操作を検知して、再生命令への変換や再生命令のネットワーク２００を介しての録画装置２０２への送信、ネットワーク２００を介して録画装置２０２から受信した映像データの画面表示等を行う。
図１１に、従来の人物検索機能を備えたシステムにおける端末装置２０３に表示される画面例を示す。
再生映像表示領域３０１は、録画装置２０２に記録された映像を動画表示する領域である。
映像再生操作領域３０２は、録画装置２０２に記録された映像を再生操作する領域である。映像再生操作領域３０２を構成する各ボタンにはそれぞれ固有の再生種類が割当てられている。図１１においては、例えば、左から巻戻し、逆再生、再生停止、順再生、早送りの再生種類が割当てられている。各ボタンを適宜押下することにより、再生映像表示領域３０１上への動画表示が、ボタンに割当てられた再生種類に切り替わって表示される。
検索画像表示領域３０３は、検索画像の指定と表示を行う領域である。検索画像表示領域３０３を構成する検索画像指定ボタンは、押下時に再生映像表示領域３０１に表示されている画像を検索画像に指定する。検索画像に指定された画像は、検索画像表示領域３０３上に画面表示される。
検索画像３１１は、従来の監視システムＹにおいて、指定された検索画像である。
検索実行領域３０４は、検索実行を行う領域である。検索実行領域３０４を構成する検索実行ボタンは、押下時に検索画像表示領域３０３にて指定した検索画像による検索を実行する。従来の監視システムＹでは図示しなかったが、この検索実行領域３０４上に検索対象の限定を与える手段、例えば、日時範囲や検索対象カメラ等を指定する手段を備える場合もある。
検索結果表示領域３０５は、録画装置２０２から取得した検索結果を表示する領域である。従来の監視システムＹにおいて、検索結果表示領域３０５に表示した検索結果は、検索画像３１１にて検索を実行し得られた結果である。表示は、検索結果画像を一覧表示することにより実施される。
検索結果画像３２１〜３２５は、それぞれ検索結果画像のうちの１つである。表示されたそれぞれの検索結果画像は、ボタン式になっており、そのいずれかを押下すると、再生映像表示領域３０１の表示映像が押下画像に切替わる。この切替わりを頭出しと称する。
検索結果表示順指定領域３０６は、検索結果表示領域３０５への検索結果の一覧表示の表示の順番である「表示順」を指定する領域である。従来の監視システムＹにおいては、表示順を、類似度順、時刻順、カメラ順の３種類から指定可能である。
再生映像表示領域３０１は、録画装置２０２に記録された映像を動画表示する領域である。
映像再生操作領域３０２は、録画装置２０２に記録された映像を再生操作する領域である。映像再生操作領域３０２を構成する各ボタンにはそれぞれ固有の再生種類が割当てられている。図１１においては、例えば、左から巻戻し、逆再生、再生停止、順再生、早送りの再生種類が割当てられている。各ボタンを適宜押下することにより、再生映像表示領域３０１上への動画表示が、ボタンに割当てられた再生種類に切り替わって表示される。
検索画像表示領域３０３は、検索画像の指定と表示を行う領域である。検索画像表示領域３０３を構成する検索画像指定ボタンは、押下時に再生映像表示領域３０１に表示されている画像を検索画像に指定する。検索画像に指定された画像は、検索画像表示領域３０３上に画面表示される。
検索画像３１１は、従来の監視システムＹにおいて、指定された検索画像である。
検索実行領域３０４は、検索実行を行う領域である。検索実行領域３０４を構成する検索実行ボタンは、押下時に検索画像表示領域３０３にて指定した検索画像による検索を実行する。従来の監視システムＹでは図示しなかったが、この検索実行領域３０４上に検索対象の限定を与える手段、例えば、日時範囲や検索対象カメラ等を指定する手段を備える場合もある。
検索結果表示領域３０５は、録画装置２０２から取得した検索結果を表示する領域である。従来の監視システムＹにおいて、検索結果表示領域３０５に表示した検索結果は、検索画像３１１にて検索を実行し得られた結果である。表示は、検索結果画像を一覧表示することにより実施される。
検索結果画像３２１〜３２５は、それぞれ検索結果画像のうちの１つである。表示されたそれぞれの検索結果画像は、ボタン式になっており、そのいずれかを押下すると、再生映像表示領域３０１の表示映像が押下画像に切替わる。この切替わりを頭出しと称する。
検索結果表示順指定領域３０６は、検索結果表示領域３０５への検索結果の一覧表示の表示の順番である「表示順」を指定する領域である。従来の監視システムＹにおいては、表示順を、類似度順、時刻順、カメラ順の３種類から指定可能である。
図１１においては、検索結果表示領域３０５に表示された検索結果は、類似度順に基づいて表示されている例を示す。
この類似度順の表示の場合、検索結果表示領域３０５の最上段左が最も類似度が高く、同段の右に行くほど類似度が低くなり、また、段が下部に進むほど、上段より類似度が低いことを示している。従来の監視システムＹにおいては、検索画像３１１に対し、検索結果画像３２１が最も類似度が高い画像であり、続いて検索結果画像３２２、３２３、３２４となり、検索結果画像３２５が検索結果画像の中では最も類似度が低い画像となる。
この類似度順の表示の場合、検索結果表示領域３０５の最上段左が最も類似度が高く、同段の右に行くほど類似度が低くなり、また、段が下部に進むほど、上段より類似度が低いことを示している。従来の監視システムＹにおいては、検索画像３１１に対し、検索結果画像３２１が最も類似度が高い画像であり、続いて検索結果画像３２２、３２３、３２４となり、検索結果画像３２５が検索結果画像の中では最も類似度が低い画像となる。
従来の監視システムＹでは、同様に、検索結果表示順指定領域３０６に対し、時刻による順番の指定である時刻順に基づいて行うように指定することができる。このように時刻順で表示順を指定した場合には、検索結果表示領域３０５の最上段左が最も古い時刻に撮影された画像で、同段の右に行くほど時刻が新しい画像となり、また、段が下部に進むほど、上段より時刻が新しい画像が表示される。
従来の監視システムＹでは、同様に、検索結果表示順指定領域３０６に対し、カメラ番号による順番の指定であるカメラ順に基づいて行うように指定することができる。このようにカメラ順にした場合には、検索結果表示領域３０５の最上段左が小さいカメラ番号を有するカメラで撮影された画像で、同段の右に行くほどカメラ番号が大きくカメラで撮影された画像となり、また、段が下部に進むほど、上段よりカメラ番号が大きいカメラで撮影された画像が表示される。
人物検索機能は、録画装置に記録された膨大な検索対象画像中から目的の人物映像への容易な頭出しを提供し、大変便利である。
そして、このように人物検索機能によって同一人物が探せるようになった段階で、探した同一人物が「いつ、どこで」撮影されたのかをユーザーに伝えることが重要である。
さらに、検索に使った検索画像の撮影時刻、撮影場所と、検索結果として得られた検索結果画像のそれとの、時間的相対関係、位置的相対関係が、ユーザにわかり易く表現されることが望ましい。
そして、このように人物検索機能によって同一人物が探せるようになった段階で、探した同一人物が「いつ、どこで」撮影されたのかをユーザーに伝えることが重要である。
さらに、検索に使った検索画像の撮影時刻、撮影場所と、検索結果として得られた検索結果画像のそれとの、時間的相対関係、位置的相対関係が、ユーザにわかり易く表現されることが望ましい。
しかしながら、図１０を用いて示したように、現状の人物検索機能において、その検索結果は、ある一つの尺度に基づいて、表示順が決定される方式となっている。
上記の例においては、類似度順、時刻順、カメラ順のいずれかの尺度で指定された順番に基づき、検索結果を表示している。図１１では、画面の表示の都合上、折り返しを設けているため、２次元風な表示となっているが、本質的にはそれぞれの順番を基にした１次元的な表示であるといえる。
上記の例においては、類似度順、時刻順、カメラ順のいずれかの尺度で指定された順番に基づき、検索結果を表示している。図１１では、画面の表示の都合上、折り返しを設けているため、２次元風な表示となっているが、本質的にはそれぞれの順番を基にした１次元的な表示であるといえる。
従って、表示順として選択された次元については、その相対関係が視覚的に表現することができる。しかし、他の次元については、検索画像と検索結果画像間においての情報を得ることが難しいという問題があった。
このため、例えば、類似度順で表示された検索結果画像の横に撮影時刻を文字表示するといったことは可能であったが、このような文字表示するだけの表現では、各次元との相関を表現することは難しかった。
よって、類似度と時刻、類似度とカメラ、時刻とカメラ、類似度と時刻とカメラといった、２次元以上の相関を同時に視覚的に表現することができなかった。
このため、例えば、類似度順で表示された検索結果画像の横に撮影時刻を文字表示するといったことは可能であったが、このような文字表示するだけの表現では、各次元との相関を表現することは難しかった。
よって、類似度と時刻、類似度とカメラ、時刻とカメラ、類似度と時刻とカメラといった、２次元以上の相関を同時に視覚的に表現することができなかった。
そこで、従来の類似画像検索を３次元的に表示する類似画像検索方法として、例えば、特許文献１を参照すると、ユーザが所望する画像との類似度の値に従って、類似度の高い画像は大きく、類似度の低い画像は小さくなるように表示する類似画像検索方法が記載されている（以下、従来技術１とする。）。
また、従来技術１の画像検索方法では、段落〔００１６〕等を参照すると、可視化空間２１０の座標軸を画像特徴量から選び、その軸を一定時間で変更して「フワフワ運動」させることで、各検索条件に応じた検索結果を連続的な変化としてユーザに示すことができる。
従来技術１の類似画像検索方法により、大量の検索結果をユーザにとって散布図のような秩序ある形式で提示することができるという効果が得られる。
また、従来技術１の画像検索方法では、段落〔００１６〕等を参照すると、可視化空間２１０の座標軸を画像特徴量から選び、その軸を一定時間で変更して「フワフワ運動」させることで、各検索条件に応じた検索結果を連続的な変化としてユーザに示すことができる。
従来技術１の類似画像検索方法により、大量の検索結果をユーザにとって散布図のような秩序ある形式で提示することができるという効果が得られる。
しかしながら、従来技術１においては、類似度と画像特徴量のみを検索画像の結果表示に用いており、カメラの番号順のような監視システムに必要な系列の軸に基づいて表示を行う検索結果表示方法が開示されていなかった。
このため、従来技術１で開示されている表示方法を監視システムの検索結果表示方法に用いると、各画像間の相関関係が把握しづらく、使い勝手が悪いという問題があった。
このため、従来技術１で開示されている表示方法を監視システムの検索結果表示方法に用いると、各画像間の相関関係が把握しづらく、使い勝手が悪いという問題があった。
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
本発明の検索結果表示方法は、撮像装置と、録画装置と、端末装置を備えて類似画像を検索する監視システムにおける検索結果表示方法において、検索画像に対する類似度差を系列とした類似度軸と、該検索画像に対する距離差を系列とする距離軸と、該検索画像に対する時間差を系列とする時間差軸とから構成される空間に検索結果画像を表示することを特徴とする。
本発明の監視システムは、撮像装置と、録画装置と、端末装置を備えた類似画像検索システムにおいて、前記録画装置、又は前記端末装置は、検索画像に対する類似度差を系列とした類似度軸と、該検索画像に対する距離差を系列とする距離軸と、該検索画像に対する時間差を系列とする時間差軸とから構成される空間に検索結果画像を表示する表示手段を備えることを特徴とする。
本発明の監視システムは、撮像装置と、録画装置と、端末装置を備えた類似画像検索システムにおいて、前記録画装置、又は前記端末装置は、検索画像に対する類似度差を系列とした類似度軸と、該検索画像に対する距離差を系列とする距離軸と、該検索画像に対する時間差を系列とする時間差軸とから構成される空間に検索結果画像を表示する表示手段を備えることを特徴とする。
本発明によれば、映像監視システムの人物検索機能において、検索画像と検索結果画像間における類似度、距離、時間の各系列について、３次元の軸上で同時に表現することで、２次元以上の相関関係を同時に視覚的に把握できる使い勝手のよい結果表示方法を提供することができる。
＜実施の形態＞
〔制御構成〕
図１を参照して、本発明の実施の形態に係る監視システムＸの制御構成について説明する。監視システムＸは、撮像装置２０１と、録画装置２０２と、端末装置１０３とが、ネットワーク２００にて接続されている。この図１において、図１０と同一の符号は、従来と同様の機能を提供する部位であることを示す。つまり、撮像装置２０１と、録画装置２０２とは、図１０の従来の監視システムＹと同様の構成要素を示す。
ネットワーク２００は、各装置を結ぶ、ＬＡＮ、光ファイバー、ｃ．ｌｉｎｋ、無線ＬＡＮ、メッシュネットワーク等のデータ通信可能な回線である。また、ネットワーク２００は、専用線、イントラネット、インターネット等のＩＰネットワーク等を用いてもよい。
録画装置２０２は画像データをＨＤＤ等に記憶して録画する録画装置であり、図１０の録画装置２０２と同様な録画装置である。
端末装置１０３は、ネットワーク２００を介して録画装置２０２から取得した画像データを、液晶ディスプレイやＣＲＴ等の表示部に画面表示するＰＣ／ＡＴ互換機やＭＡＣ等であるＰＣ（パーソナル・コンピュータ）等の専用の監視端末装置である。端末装置１０３は、下記で説明する処理の制御を行うＣＰＵ等の制御部と、制御部が実行する処理が記載されたプログラムと結果表示用の画像データと画像データの属性と一時データとを含んで記憶するＲＡＭ、ＲＯＭ、ＨＤＤ、フラッシュメモリ等の記憶部とを備えている。端末装置１０３は、キーボードやマウス等のユーザ入力部を備え、録画装置２０２に記録された映像の再生操作や動画表示、人物検索の実行操作や結果表示等を行うユーザインタフェースを提供する。
なお、端末装置１０３は、通常のＯＳ（オペレーティングシステム）がインストールされたＰＣの記憶部に記憶したプログラムにより実現してもよい。
さらに、制御部で実行されるプログラムは、各部をハードウェア資源を使用して実現するために用いられてもよく、記憶部に記憶されていても、制御部内のＲＯＭやフラッシュメモリ等に記憶されていてもよい。
〔制御構成〕
図１を参照して、本発明の実施の形態に係る監視システムＸの制御構成について説明する。監視システムＸは、撮像装置２０１と、録画装置２０２と、端末装置１０３とが、ネットワーク２００にて接続されている。この図１において、図１０と同一の符号は、従来と同様の機能を提供する部位であることを示す。つまり、撮像装置２０１と、録画装置２０２とは、図１０の従来の監視システムＹと同様の構成要素を示す。
ネットワーク２００は、各装置を結ぶ、ＬＡＮ、光ファイバー、ｃ．ｌｉｎｋ、無線ＬＡＮ、メッシュネットワーク等のデータ通信可能な回線である。また、ネットワーク２００は、専用線、イントラネット、インターネット等のＩＰネットワーク等を用いてもよい。
録画装置２０２は画像データをＨＤＤ等に記憶して録画する録画装置であり、図１０の録画装置２０２と同様な録画装置である。
端末装置１０３は、ネットワーク２００を介して録画装置２０２から取得した画像データを、液晶ディスプレイやＣＲＴ等の表示部に画面表示するＰＣ／ＡＴ互換機やＭＡＣ等であるＰＣ（パーソナル・コンピュータ）等の専用の監視端末装置である。端末装置１０３は、下記で説明する処理の制御を行うＣＰＵ等の制御部と、制御部が実行する処理が記載されたプログラムと結果表示用の画像データと画像データの属性と一時データとを含んで記憶するＲＡＭ、ＲＯＭ、ＨＤＤ、フラッシュメモリ等の記憶部とを備えている。端末装置１０３は、キーボードやマウス等のユーザ入力部を備え、録画装置２０２に記録された映像の再生操作や動画表示、人物検索の実行操作や結果表示等を行うユーザインタフェースを提供する。
なお、端末装置１０３は、通常のＯＳ（オペレーティングシステム）がインストールされたＰＣの記憶部に記憶したプログラムにより実現してもよい。
さらに、制御部で実行されるプログラムは、各部をハードウェア資源を使用して実現するために用いられてもよく、記憶部に記憶されていても、制御部内のＲＯＭやフラッシュメモリ等に記憶されていてもよい。
さらに詳しく説明すると、端末装置１０３は、従来と同様の検索要求送信部２１１、検索結果受信部２１２、映像再生表示部２１４に加え、検索結果３Ｄ表示部１１３（表示手段）を備えて構成される。
検索結果３Ｄ表示部１１３は、検索結果を画面表示する処理部である。検索結果の表示処理においては、本発明の実施の形態に係る検索結果表示方法が用いられる。検索結果３Ｄ表示部１１３は、特徴量抽出等の高速応答性やＳＩＭＤ（シングル・インストラクション・マルチプル・データ）形式の多大な演算性能が要求される演算（算出）処理を、各種ＤＳＰやＧＰＵ（グラフィック・プロセッシング・ユニット）を備えたチップやボード等で処理することができる。また、検索結果３Ｄ表示部１１３は、端末装置１０３の制御部が実行するプログラムとして実現されていてもよい。
検索結果３Ｄ表示部１１３は、検索結果を画面表示する処理部である。検索結果の表示処理においては、本発明の実施の形態に係る検索結果表示方法が用いられる。検索結果３Ｄ表示部１１３は、特徴量抽出等の高速応答性やＳＩＭＤ（シングル・インストラクション・マルチプル・データ）形式の多大な演算性能が要求される演算（算出）処理を、各種ＤＳＰやＧＰＵ（グラフィック・プロセッシング・ユニット）を備えたチップやボード等で処理することができる。また、検索結果３Ｄ表示部１１３は、端末装置１０３の制御部が実行するプログラムとして実現されていてもよい。
〔検索結果表示の画面例〕
次に、図２を参照して、人物検索機能を備えた監視システムＸにおいて、本発明の実施の形態に係る検索結果表示方法により端末装置１０３に表示される画面の例について説明する。この図２においても、図１１と同一の符号は同様の機能を提供する領域やボタンである。
図２の画面例では、従来の再生映像表示領域３０１、映像再生操作領域３０２、検索画像表示領域３０３、検索実行領域３０４に加え、検索結果表示領域４０５が備えられている。
次に、図２を参照して、人物検索機能を備えた監視システムＸにおいて、本発明の実施の形態に係る検索結果表示方法により端末装置１０３に表示される画面の例について説明する。この図２においても、図１１と同一の符号は同様の機能を提供する領域やボタンである。
図２の画面例では、従来の再生映像表示領域３０１、映像再生操作領域３０２、検索画像表示領域３０３、検索実行領域３０４に加え、検索結果表示領域４０５が備えられている。
検索結果表示領域４０５について詳しく説明すると、録画装置２０２から取得した検索結果を、過去に検索した検索結果と関連付けながら、表示する領域である。
ここでは、検索結果表示領域４０５に表示した検索結果は、検索画像３１１で検索を実行して得られた結果の表示例を示している。この表示例は、本発明の実施の形態に係る検索結果表示方法により、検索結果画像を一覧表示することにより得られる。
ここでは、検索結果表示領域４０５に表示した検索結果は、検索画像３１１で検索を実行して得られた結果の表示例を示している。この表示例は、本発明の実施の形態に係る検索結果表示方法により、検索結果画像を一覧表示することにより得られる。
検索結果画像４１１〜４１５は、それぞれの検索結果画像である。
従来の監視システムＹと同様に、表示されたそれぞれの検索結果画像は、ボタンになっている。検索結果３Ｄ表示部１１３は、ユーザーが検索結果画像のいずれかを押下したことを検知すると、再生映像表示領域３０１の表示映像を押下画像に切替え、頭出しを行う。
従来の監視システムＹと同様に、表示されたそれぞれの検索結果画像は、ボタンになっている。検索結果３Ｄ表示部１１３は、ユーザーが検索結果画像のいずれかを押下したことを検知すると、再生映像表示領域３０１の表示映像を押下画像に切替え、頭出しを行う。
ここで、図３を参照して、検索結果表示領域４０５の表示を拡大した画面例について説明する。
検索結果画像４１１〜４１５は、それぞれ図２と同様の検索結果画像である。
検索結果３Ｄ表示部１１３は、検索結果画像４１１〜４１５を、後述する時間差軸４２１、距離軸４２２、類似度軸４２３の３軸で構成される３次元空間内に表示する。この３次元空間としては、図２と図３のように、従来技術１のように実際にアフィン変換等を行わず、単純な斜投影変換で示すことが好適である。これにより、各軸の各系列（尺度）に対する距離感が分かりやすくなり、監視システム内で、各結果画像の関係が分かりやすくなるという効果が得られる。
検索結果画像４１１〜４１５は、それぞれ図２と同様の検索結果画像である。
検索結果３Ｄ表示部１１３は、検索結果画像４１１〜４１５を、後述する時間差軸４２１、距離軸４２２、類似度軸４２３の３軸で構成される３次元空間内に表示する。この３次元空間としては、図２と図３のように、従来技術１のように実際にアフィン変換等を行わず、単純な斜投影変換で示すことが好適である。これにより、各軸の各系列（尺度）に対する距離感が分かりやすくなり、監視システム内で、各結果画像の関係が分かりやすくなるという効果が得られる。
時間差軸４２１は、検索画像と検索結果画像との撮影時刻の時間差の系列で示す軸である。本発明の実施の形態に係る監視システムＸにおいては、図の左から右に行くほど時間差が大きいことを表す。
距離軸４２２は、検索画像と検索結果画像の撮影位置間の距離の系列を示す軸である。本発明の実施の形態に係る監視システムＸにおいては、図の下から上に行くほど距離が大きいことを表す。
ここで撮影位置間の距離とは、カメラ間の距離と同義であり、カメラ間の距離には、ＧＰＳや地図などから求めた緯度経度に基づき算出できる直線距離や、測量等により予め求めておく道のり距離などを使用する。距離の値は、メートル法に基づく物理的な値を使用するのが一般的であるが、適当な基準値、例えば、全カメラ間における最小距離を基準値１とするような論理的な値を使用してもよい。また、地形の上下等を考慮して、徒歩で移動できる距離のような距離を仕様してもよい。
ここで撮影位置間の距離とは、カメラ間の距離と同義であり、カメラ間の距離には、ＧＰＳや地図などから求めた緯度経度に基づき算出できる直線距離や、測量等により予め求めておく道のり距離などを使用する。距離の値は、メートル法に基づく物理的な値を使用するのが一般的であるが、適当な基準値、例えば、全カメラ間における最小距離を基準値１とするような論理的な値を使用してもよい。また、地形の上下等を考慮して、徒歩で移動できる距離のような距離を仕様してもよい。
類似度軸４２３は、検索画像と検索結果画像の類似度を示す軸である。本発明の実施の形態に係る監視システムＸにおいては、図の左下から右上に行くほど類似度が小さい、すなわち、検索画像と検索結果画像が似ていないことを表す。
座標点４３１〜４３５は、時間差軸４２１と類似度軸４２３で構成される座標平面上にプロットされた座標点である。
座標点４３１〜４３５はそれぞれ、検索結果画像４１１〜４１５と対応関係にある。
すなわち、本発明の実施の形態に係る監視システムＸにおいて、検索結果画像４１１は、座標点４３１に対応し、検索画像に対する時間差としてΔＴ３、類似度としてＳ１の値を持つことを表している。
同様に、検索結果画像４１２は座標点４３２に対応し、検索画像に対する時間差としてΔＴ５、類似度としてＳ２の値を持つことを表している。
また、検索結果画像４１３は座標点４３３に対応し、検索画像に対する時間差としてΔＴ１、類似度としてＳ３の値を持つことを表している。
また、検索結果画像４１４は座標点４３４に対応し、検索画像に対する時間差としてΔＴ２、類似度としてＳ４の値を持つことを表している。
また、検索結果画像４１５は座標点４３５に対応し、検索画像に対する時間差としてΔＴ４、類似度としてＳ５の値を持つことを表している。
座標点４３１〜４３５はそれぞれ、検索結果画像４１１〜４１５と対応関係にある。
すなわち、本発明の実施の形態に係る監視システムＸにおいて、検索結果画像４１１は、座標点４３１に対応し、検索画像に対する時間差としてΔＴ３、類似度としてＳ１の値を持つことを表している。
同様に、検索結果画像４１２は座標点４３２に対応し、検索画像に対する時間差としてΔＴ５、類似度としてＳ２の値を持つことを表している。
また、検索結果画像４１３は座標点４３３に対応し、検索画像に対する時間差としてΔＴ１、類似度としてＳ３の値を持つことを表している。
また、検索結果画像４１４は座標点４３４に対応し、検索画像に対する時間差としてΔＴ２、類似度としてＳ４の値を持つことを表している。
また、検索結果画像４１５は座標点４３５に対応し、検索画像に対する時間差としてΔＴ４、類似度としてＳ５の値を持つことを表している。
座標点４４１〜４４５は、距離軸４２２と類似度軸４２３で構成される座標平面上にプロットされた座標点である。
座標点４４１〜４４５はそれぞれ、検索結果画像４１１〜４１５と対応関係にある。すなわち、本発明の実施の形態に係る監視システムＸにおいて、検索結果画像４１１は座標点４４１に対応し、検索画像に対する距離としてΔＤ１、類似度としてＳ１の値を持つ。
同様に、検索結果画像４１２は座標点４４２に対応し、検索画像に対する距離としてΔＤ５、類似度としてＳ２の値を持つことを表している。
また、検索結果画像４１３は座標点４４３に対応し、検索画像に対する距離としてΔＤ２、類似度としてＳ３の値を持つことを表している。
また、検索結果画像４１４は座標点４４４に対応し、検索画像に対する距離としてΔＤ４、類似度としてＳ４の値を持つことを表している。
また、検索結果画像４１５は座標点４４５に対応し、検索画像に対する距離としてΔＤ３、類似度としてＳ５の値を持つことを表している。
座標点４４１〜４４５はそれぞれ、検索結果画像４１１〜４１５と対応関係にある。すなわち、本発明の実施の形態に係る監視システムＸにおいて、検索結果画像４１１は座標点４４１に対応し、検索画像に対する距離としてΔＤ１、類似度としてＳ１の値を持つ。
同様に、検索結果画像４１２は座標点４４２に対応し、検索画像に対する距離としてΔＤ５、類似度としてＳ２の値を持つことを表している。
また、検索結果画像４１３は座標点４４３に対応し、検索画像に対する距離としてΔＤ２、類似度としてＳ３の値を持つことを表している。
また、検索結果画像４１４は座標点４４４に対応し、検索画像に対する距離としてΔＤ４、類似度としてＳ４の値を持つことを表している。
また、検索結果画像４１５は座標点４４５に対応し、検索画像に対する距離としてΔＤ３、類似度としてＳ５の値を持つことを表している。
なお、本発明の実施の形態に係る監視システムＸにおいては、図の簡略化のため、時間差軸４２１と距離軸４２２で構成される座標平面上にプロットされた座標点を図示しないが、同様であることは言うまでもない。
また、これらの座標点は、本発明の実施の形態に係る監視システムＸでは、説明の容易さのため設けたが、実際にはなくてもよい。
また、これらの座標点は、本発明の実施の形態に係る監視システムＸでは、説明の容易さのため設けたが、実際にはなくてもよい。
また、各画像が背後に隠れると見えなくなるため、３次元空間内に表示する画像のスケーリングは自由に変更可能である。さらに、単純な斜投影（平行投影）ではなく、背後に隠れた軸をみるために、回転しても距離の関係が把握しやすく表示する「回転する斜投影」での表示を行うことができる。この回転する斜投影での表示についての詳細は、後述する。
時間差軸回転ボタン４５１は、時間差軸４２１を回転させるための操作ボタンである。本ボタンを操作すると、時間差軸を中心軸として３次元空間が回転し、表示を変化させることができる。ここでは図示しないが、ボタン近傍へ、文字表示や、図形的表現等により回転量を示すこともできる。
距離軸回転ボタン４５２は、距離軸４２２を回転させるための操作ボタンである。本ボタンを操作すると、距離軸を中心軸として３次元空間が回転し、表示が変化する。本発明の実施の形態に係る監視システムＸでは図示しないが、ボタン近傍への文字表示や、図形的表現等により回転量を示してもよい。
類似度軸回転ボタン４５３は、類似度軸４２３を回転させるための操作ボタンである。本ボタンを操作すると、類似度軸を中心軸として３次元空間が回転し、表示が変化する。本発明の実施の形態に係る監視システムＸでは図示しないが、ボタン近傍への文字表示や、図形的表現等により回転量を示してもよい。
これらの各軸回転ボタンを操作した場合の表示の変化については後述する。なお、回転する斜投影ではなく、３次元を立体的に表示できるような変換をしてもよい。
時間差軸回転ボタン４５１は、時間差軸４２１を回転させるための操作ボタンである。本ボタンを操作すると、時間差軸を中心軸として３次元空間が回転し、表示を変化させることができる。ここでは図示しないが、ボタン近傍へ、文字表示や、図形的表現等により回転量を示すこともできる。
距離軸回転ボタン４５２は、距離軸４２２を回転させるための操作ボタンである。本ボタンを操作すると、距離軸を中心軸として３次元空間が回転し、表示が変化する。本発明の実施の形態に係る監視システムＸでは図示しないが、ボタン近傍への文字表示や、図形的表現等により回転量を示してもよい。
類似度軸回転ボタン４５３は、類似度軸４２３を回転させるための操作ボタンである。本ボタンを操作すると、類似度軸を中心軸として３次元空間が回転し、表示が変化する。本発明の実施の形態に係る監視システムＸでは図示しないが、ボタン近傍への文字表示や、図形的表現等により回転量を示してもよい。
これらの各軸回転ボタンを操作した場合の表示の変化については後述する。なお、回転する斜投影ではなく、３次元を立体的に表示できるような変換をしてもよい。
表示範囲指定ボタン４６１、４６２は、検索結果として表示させる範囲の最大値、最小値を与える操作ボタンである。ボタンの形状は、軸を中心とした図形的表現のボタンを用いることができる。図３では、軸を中心点とした円として表現する例について示している。
本発明の実施の形態に係る監視システムＸでは、表示範囲指定ボタン４６１を類似度値Ｓ１より大きな値の座標に表示し、表示範囲指定ボタン４６２が類似度値Ｓ５より小さな値の箇所に表示する。
このため、例えば、表示範囲指定ボタン４６２を類似度値Ｓ４とＳ３の間にドラッグ操作により移動させた場合、検索結果画像４１１〜４１５のうち、表示する検索結果画像は検索結果画像４１１〜４１３となる。
本発明の実施の形態に係る監視システムＸでは、表示範囲指定ボタン４６１を類似度値Ｓ１より大きな値の座標に表示し、表示範囲指定ボタン４６２が類似度値Ｓ５より小さな値の箇所に表示する。
このため、例えば、表示範囲指定ボタン４６２を類似度値Ｓ４とＳ３の間にドラッグ操作により移動させた場合、検索結果画像４１１〜４１５のうち、表示する検索結果画像は検索結果画像４１１〜４１３となる。
また、表示範囲指定ボタンは、その設置位置により、ボタン形状を変化して表示することができる。
たとえば、検索結果３Ｄ表示部１１３は、設置位置の原点からの距離により、表示円の半径を求め、原点から離れるほど見えにくいため、例えば大きな半径の円にて表示することができる。
なお、説明の簡略化のため、類似度軸４２３に対してのみ、表示範囲指定ボタンを図示したが、時間差軸や距離軸にも表示することができる。その場合の操作方法や操作による検索結果画像表示の変化は、上述した表示範囲指定ボタン４６１、４６２と同様である。
たとえば、検索結果３Ｄ表示部１１３は、設置位置の原点からの距離により、表示円の半径を求め、原点から離れるほど見えにくいため、例えば大きな半径の円にて表示することができる。
なお、説明の簡略化のため、類似度軸４２３に対してのみ、表示範囲指定ボタンを図示したが、時間差軸や距離軸にも表示することができる。その場合の操作方法や操作による検索結果画像表示の変化は、上述した表示範囲指定ボタン４６１、４６２と同様である。
このような検索結果表示方式により、検索画像と検索結果画像間における、類似度や時間差、距離の関係を、同時に視覚的に把握することが可能になる。
たとえば、検索結果画像４１１について着目すると、検索画像３１１に対し、類似度が極めて高く、時間差は大きめであり、距離は極めて小さいということが一目で把握することができ、監視画像の視認性を飛躍的に高めることができる。
たとえば、検索結果画像４１１について着目すると、検索画像３１１に対し、類似度が極めて高く、時間差は大きめであり、距離は極めて小さいということが一目で把握することができ、監視画像の視認性を飛躍的に高めることができる。
（回転する斜投影での画面表示）
次に、時間差軸４２１、距離軸４２２、類似度軸４２３の３軸で構成される３次元空間と、回転を可能とする斜投影での画面表示との関係について、図４の（ａ）〜（ｃ）を参照して説明する。
次に、時間差軸４２１、距離軸４２２、類似度軸４２３の３軸で構成される３次元空間と、回転を可能とする斜投影での画面表示との関係について、図４の（ａ）〜（ｃ）を参照して説明する。
まず、図４（ａ）を参照すると、表示面６０１は、端末装置の画面を模式的に表したものである。
３次元空間６０２は、時間差軸４２１、距離軸４２２、類似度軸４２３から構成される空間であり、本発明の実施の形態に係る監視システムＸでは、軸長が全て同じ立方体として示すことができる。
図２や図３に示した画面検索結果表示領域４０５に表示される検索結果は、この３次元空間６０２を表示面６０１に平行投影したものを、画面表示したものになる。
３次元空間６０２は、時間差軸４２１、距離軸４２２、類似度軸４２３から構成される空間であり、本発明の実施の形態に係る監視システムＸでは、軸長が全て同じ立方体として示すことができる。
図２や図３に示した画面検索結果表示領域４０５に表示される検索結果は、この３次元空間６０２を表示面６０１に平行投影したものを、画面表示したものになる。
従って、例えば、図４（ｂ）を参照すると、各軸の軸回転ボタンを、時間差軸４２１と距離軸４２２で構成される面６０３と表示面６０１を平行になるように操作した場合について示している。
図５を参照して、この操作により端末装置１０３に表示される画面例について説明する。図５は模式図であり、図２や図３に示した一部の構成部品表示や符号表示を省略する。
図５に示した画面表示をさせた場合、時間差と距離についての検索結果画像の関係が視覚的に把握可能となる。この状態においては、類似度に対する表示範囲指定ボタン４６１、４６２は、同心円として表示される。この場合に、表示範囲を指定する場合には、円線上を円径方向にドラッグし、半径を変化させることにより実行する。
図５を参照して、この操作により端末装置１０３に表示される画面例について説明する。図５は模式図であり、図２や図３に示した一部の構成部品表示や符号表示を省略する。
図５に示した画面表示をさせた場合、時間差と距離についての検索結果画像の関係が視覚的に把握可能となる。この状態においては、類似度に対する表示範囲指定ボタン４６１、４６２は、同心円として表示される。この場合に、表示範囲を指定する場合には、円線上を円径方向にドラッグし、半径を変化させることにより実行する。
同様に、例えば、図４（ｃ）を参照すると、各軸の軸回転ボタンを、時間差軸４２１と類似度軸４２３で構成される面６０４と表示面６０１を平行になるように操作した場合について示している。
図６を参照して、端末装置１０３に表示される画面例を説明する。図６は模式図であり、図２や図３に示した一部の構成部品表示や符号表示を省略する。
図６に示した画面表示をさせた場合、時間差と類似度についての検索結果画像の関係が視覚的に把握可能となる。この状態においては、距離に対する表示範囲指定ボタンは、同心円として表示される。この場合に、表示範囲を指定する場合には、円線上を円径方向にドラッグし、半径を変化させることにより実行する。
図６を参照して、端末装置１０３に表示される画面例を説明する。図６は模式図であり、図２や図３に示した一部の構成部品表示や符号表示を省略する。
図６に示した画面表示をさせた場合、時間差と類似度についての検索結果画像の関係が視覚的に把握可能となる。この状態においては、距離に対する表示範囲指定ボタンは、同心円として表示される。この場合に、表示範囲を指定する場合には、円線上を円径方向にドラッグし、半径を変化させることにより実行する。
図５や図６に示したように、検索結果画像は、画像中心点を原点として、常に表示面６０１と平行となるように表示することが好適である。この「回転する斜投影」により、距離感を保ったままで、各軸の距離の関係を性格に把握することができる。
〔本発明の実施の形態に係る検索結果表示方法の処理〕
次に、図７〜図９を参照して、人物検索機能を備えた監視システムＸで、本発明の実施の形態に係る検索結果表示方法を実行する際の処理の流れについて説明する。
この検索結果表示方法の処理は、主に（１）録画処理、（２）映像再生処理、（３）人物検索処理の３つを含んで構成される。
次に、図７〜図９を参照して、人物検索機能を備えた監視システムＸで、本発明の実施の形態に係る検索結果表示方法を実行する際の処理の流れについて説明する。
この検索結果表示方法の処理は、主に（１）録画処理、（２）映像再生処理、（３）人物検索処理の３つを含んで構成される。
（録画処理）
まず、図７を参照して、（１）の録画処理について詳しく説明する。
録画処理は、撮像装置２０１と録画装置２０２間の通信を含んだ処理にて実行され、撮像装置２０１で撮像した画像データを録画装置２０２に記録する。
まず、図７を参照して、（１）の録画処理について詳しく説明する。
録画処理は、撮像装置２０１と録画装置２０２間の通信を含んだ処理にて実行され、撮像装置２０１で撮像した画像データを録画装置２０２に記録する。
ここで、最初に、録画装置２０２側の処理の流れを説明する。
ステップＳ１０００において、録画装置２０２の制御部は、画像受信待機処理を行う。
録画装置２０２の制御部は、画像データの着信を検知すると、処理をステップＳ１００１に進める。
ステップＳ１０００において、録画装置２０２の制御部は、画像受信待機処理を行う。
録画装置２０２の制御部は、画像データの着信を検知すると、処理をステップＳ１００１に進める。
ステップＳ１００１において、録画装置２０２の制御部は、撮像装置２０１からの画像データを含むデータを受信する受信処理を行う。受信するデータは、画像データの他に、撮影時刻情報、撮影位置情報等の画像の属性のデータを含んで構成される。
ステップＳ１００２において、録画装置２０２の制御部は、受信したデータと画像ＩＤを、ＨＤＤ等の記録媒体に記録する処理を行う。
画像ＩＤ（アイデンティフィケーション）とは、後で画像データを取出す為の索引となる情報である。
画像ＩＤには、例えば、録画装置２０２内でユニークであるように録画開始からフレーム単位で順に振ったフレーム番号を用いることができる。
画像ＩＤ（アイデンティフィケーション）とは、後で画像データを取出す為の索引となる情報である。
画像ＩＤには、例えば、録画装置２０２内でユニークであるように録画開始からフレーム単位で順に振ったフレーム番号を用いることができる。
ステップＳ１００３において、録画装置２０２の制御部は、受信した画像に対して顔検出処理を行う。顔検出処理は、眼や鼻や口等の顔の主要構成要素の配置、額と眼の濃淡差等の顔の特性を用いた公知の画像認識技術により行う。
ステップＳ１００４において、録画装置２０２の制御部は、ステップＳ１００３での顔検出結果の判定処理を行う。
Ｙｅｓ、すなわち顔が検出された場合、録画装置２０２の制御部は、処理をステップＳ１００５に進める。
Ｎｏ、すなわち検出されなかった場合には、録画装置２０２の制御部は、処理をステップＳ１０００に戻す。
Ｙｅｓ、すなわち顔が検出された場合、録画装置２０２の制御部は、処理をステップＳ１００５に進める。
Ｎｏ、すなわち検出されなかった場合には、録画装置２０２の制御部は、処理をステップＳ１０００に戻す。
ステップＳ１００５において、録画装置２０２の制御部は、ステップＳ１００３での顔検出結果を基に顔の画像領域を算出する。
この顔の画像領域のデータを、以下では顔画像データとよぶ。
この顔の画像領域のデータを、以下では顔画像データとよぶ。
ステップＳ１００６において、録画装置２０２の制御部は、算出した顔画像データの画像特徴量を算出する。
画像特徴量とは、画像認識技術を用いて算出される画像の傾向を示す値である。この画像特徴量には、例えば、画像の色分布やエッジパターンの構図分布やそれらの組合せ等を算出して用いることができる。
画像特徴量とは、画像認識技術を用いて算出される画像の傾向を示す値である。この画像特徴量には、例えば、画像の色分布やエッジパターンの構図分布やそれらの組合せ等を算出して用いることができる。
ステップＳ１００７において、録画装置２０２の制御部は、算出した画像特徴量を対応する画像ＩＤに従い、ＨＤＤ等の記録媒体に記録する。この画像特徴量を用いて、後述する類似度情報を計算する。
画像特徴量の記録の完了後、録画装置２０２の制御部は、処理をステップＳ１０００に戻す。
画像特徴量の記録の完了後、録画装置２０２の制御部は、処理をステップＳ１０００に戻す。
次に、撮像装置２０１の処理の流れを説明する。
ステップＳ１０１０において、撮像装置２０１の制御部は、撮像装置２０１に備えられたＣＣＤやＣＭＯＳ等の撮像素子からの撮像画像出力待機を行う。この撮像画像出力は、インターバルタイマ等を用いて、所定の時間毎に行うことも、例えば１／６０フレーム等で常に撮像画像出力を行うことができる。
撮像装置２０１の制御部は、撮像画像出力を検知すると、処理をステップＳ１０１１に進む。
ステップＳ１０１０において、撮像装置２０１の制御部は、撮像装置２０１に備えられたＣＣＤやＣＭＯＳ等の撮像素子からの撮像画像出力待機を行う。この撮像画像出力は、インターバルタイマ等を用いて、所定の時間毎に行うことも、例えば１／６０フレーム等で常に撮像画像出力を行うことができる。
撮像装置２０１の制御部は、撮像画像出力を検知すると、処理をステップＳ１０１１に進む。
ステップＳ１０１１において、撮像装置２０１の制御部は、撮像素子から出力された撮像画像をデジタル変換する。
ステップＳ１０１２において、撮像装置２０１の制御部は、デジタル変換した画像の画像データを録画装置２０２へ、ネットワーク２００を介して送信する。
この際に、上述したように画像の撮影時刻情報や撮影位置情報等の各種属性のデータについても、画像データを含むデータとして送信する。
この際に、上述したように画像の撮影時刻情報や撮影位置情報等の各種属性のデータについても、画像データを含むデータとして送信する。
タイミングＴ１０２０は、撮像装置２０１と録画装置２０２間の通信を表し、ここでは、画像データを含むデータの送信が行われる。
（映像再生処理）
次に、図８を参照して、映像再生処理の流れについて説明する。
映像再生処理は、録画装置２０２と端末装置１０３間の通信を含んだ処理にて実行される。そして、録画装置２０２に記録されている映像を端末装置１０３で再生する。
次に、図８を参照して、映像再生処理の流れについて説明する。
映像再生処理は、録画装置２０２と端末装置１０３間の通信を含んだ処理にて実行される。そして、録画装置２０２に記録されている映像を端末装置１０３で再生する。
まず初めに、端末装置１０３側の処理の流れを説明する。
ステップＳ１１００において、端末装置１０３の映像再生表示部２１４は、ユーザの再生操作待機処理を行う。ユーザの再生操作を検知すると、映像再生表示部２１４は、処理をステップＳ１１０１に進める。
ステップＳ１１００において、端末装置１０３の映像再生表示部２１４は、ユーザの再生操作待機処理を行う。ユーザの再生操作を検知すると、映像再生表示部２１４は、処理をステップＳ１１０１に進める。
ステップＳ１１０１において、端末装置１０３の映像再生表示部２１４は、ユーザの再生操作内容に従って、「映像再生要求」のコマンドを決定する。
映像再生要求は、例えば、順再生や早送りのような再生の種類、順向き再生や逆向き再生等の再生の時間方向、再生の速度等を含んで構成される。
映像再生要求は、例えば、順再生や早送りのような再生の種類、順向き再生や逆向き再生等の再生の時間方向、再生の速度等を含んで構成される。
ステップＳ１１０２において、端末装置１０３の映像再生表示部２１４は、決定した映像再生要求のコマンドを送信する処理を行う。
タイミングＴ１１２０において、映像再生表示部２１４は、具体的な映像再生要求のコマンドを、ネットワーク２００を介して録画装置２０２へ通信を行う。
ステップＳ１１０３において、端末装置１０３の映像再生表示部２１４は、データの受信待機の処理を行う。データの着信を検知すると、映像再生表示部２１４は、処理をステップＳ１１０４に進める。
ステップＳ１１０４において、端末装置１０３の映像再生表示部２１４は、録画装置２０２からのデータを受信する。
このデータとしては、後述するように、実際に動画像等として再生される画像の配信画像データ、及び映像再生を完了したことを示す映像再生完了通知が含まれる。
このデータとしては、後述するように、実際に動画像等として再生される画像の配信画像データ、及び映像再生を完了したことを示す映像再生完了通知が含まれる。
ステップＳ１１０５において、端末装置１０３の映像再生表示部２１４は、受信データの内容判定を行う。具体的には、受信データが。配信画像データであったかどうかを判定する。
Ｙｅｓ、すなわち、受信データが配信画像データであった場合、映像再生表示部２１４は、処理をステップＳ１１０６に進める。
Ｎｏ、すなわち、受信データが映像再生完了通知であった場合、処理をステッ１１００に戻す。
Ｙｅｓ、すなわち、受信データが配信画像データであった場合、映像再生表示部２１４は、処理をステップＳ１１０６に進める。
Ｎｏ、すなわち、受信データが映像再生完了通知であった場合、処理をステッ１１００に戻す。
ステップＳ１１０６において、端末装置１０３の映像再生表示部２１４は、受信した配信画像データを画像化（デコード）して画面上に表示する。
この表示の完了後、映像再生表示部２１４の制御部は、処理をステップ７０３に戻す。
この表示の完了後、映像再生表示部２１４の制御部は、処理をステップ７０３に戻す。
次に、録画装置２０２側の処理の流れを説明する。
ステップＳ１１１０において、録画装置２０２の制御部は、映像再生要求受信待機処理を行う。
ネットワーク２００からの、映像再生要求のコマンドの着信を検知すると、録画装置２０２の制御部は、処理をステップＳ１１１１に進める。
ステップＳ１１１０において、録画装置２０２の制御部は、映像再生要求受信待機処理を行う。
ネットワーク２００からの、映像再生要求のコマンドの着信を検知すると、録画装置２０２の制御部は、処理をステップＳ１１１１に進める。
ステップＳ１１１１において、録画装置２０２の制御部は、端末装置１０３からの映像再生要求のコマンドを受信する。
ステップＳ１１１２において、録画装置２０２の制御部は、映像再生要求を基に映像再生の内容を決定する。
映像再生の内容は、例えば、最初に配信する画像の画像ＩＤや、配信する画像数、次に配信する画像の画像ＩＤ、配信タイミング等を含んで構成される。
映像再生の内容は、例えば、最初に配信する画像の画像ＩＤや、配信する画像数、次に配信する画像の画像ＩＤ、配信タイミング等を含んで構成される。
ステップＳ１１１３において、録画装置２０２の制御部は、記録媒体から画像データを取出す。取出しには、映像再生内容中の次に配信する画像の画像ＩＤを使用する。
ステップＳ１１１４において、録画装置２０２の制御部は、送信時刻待機を行う。送信時刻は、映像再要求のコマンドと、画像データの配信タイミングを使用する。
送信時刻に達すると、録画装置２０２の制御部は、処理をステップＳ１１１５に進める。
送信時刻に達すると、録画装置２０２の制御部は、処理をステップＳ１１１５に進める。
ステップＳ１１１５において、録画装置２０２の制御部は、取出した画像データを配信画像データとして、ネットワーク２００を介して端末装置１０３へ送信する。
タイミングＴ１１２１では、録画装置２０２の制御部は、端末装置２０３との間で、配信画像データの通信を行う。
ステップＳ１１１６において、録画装置２０２の制御部は、映像再生の完了判定を行う。
完了判定は先に決定した映像再生内容を満たす画像配信が完了したか否かを判定する。
Ｙｅｓ、すなわち、画像配信が完了と判定した場合には、録画装置２０２の制御部は、処理をステップＳ１１１７に進める。
Ｎｏ、すなわち、画像配信が未完了と判定した場合には、録画装置２０２の制御部は、処理をステップＳ１１１８に進める。
完了判定は先に決定した映像再生内容を満たす画像配信が完了したか否かを判定する。
Ｙｅｓ、すなわち、画像配信が完了と判定した場合には、録画装置２０２の制御部は、処理をステップＳ１１１７に進める。
Ｎｏ、すなわち、画像配信が未完了と判定した場合には、録画装置２０２の制御部は、処理をステップＳ１１１８に進める。
ステップＳ１１１７において、録画装置２０２の制御部は、映像再生完了通知を、ネットワーク２００を介して端末装置１０３へ送信する。
送信の完了後、録画装置２０２の制御部は、処理をステップＳ１１１０に戻す。
送信の完了後、録画装置２０２の制御部は、処理をステップＳ１１１０に戻す。
タイミングＴ１１２２では、録画装置２０２の制御部は、映像再生完了通知の通信を行う。
ステップＳ１１１８において、録画装置２０２の制御部は、映像再生内容を更新する。
この際に更新されるのは、次に配信する画像の画像ＩＤと配信タイミングである。
更新の完了後、録画装置２０２の制御部は、処理をステップＳ１１１３に戻す。
この際に更新されるのは、次に配信する画像の画像ＩＤと配信タイミングである。
更新の完了後、録画装置２０２の制御部は、処理をステップＳ１１１３に戻す。
（人物検索処理）
次に、図９を参照して、人物検索処理の流れについて詳しく説明する。
人物検索処理は、録画装置２０２と端末装置１０３間の通信を含んだ処理にて実行され、録画装置２０２に記録されている映像から探し出された検索結果画像の集合を端末装置１０３にて検索結果として表示する。
図９で説明する処理の流れの中に、本発明の実施の形態に係る検索結果表示方法も含まれる。
次に、図９を参照して、人物検索処理の流れについて詳しく説明する。
人物検索処理は、録画装置２０２と端末装置１０３間の通信を含んだ処理にて実行され、録画装置２０２に記録されている映像から探し出された検索結果画像の集合を端末装置１０３にて検索結果として表示する。
図９で説明する処理の流れの中に、本発明の実施の形態に係る検索結果表示方法も含まれる。
まず初めに、端末装置１０３側の処理の流れを説明する。
ステップＳ９００において、端末装置１０３の検索結果３Ｄ表示部１１３は、ユーザ操作の待機を行う。ユーザが入力部のマウスやキーボード等を操作したことを検知すると、検索結果３Ｄ表示部１１３は、処理をステップＳ９０１に進める。
ステップＳ９００において、端末装置１０３の検索結果３Ｄ表示部１１３は、ユーザ操作の待機を行う。ユーザが入力部のマウスやキーボード等を操作したことを検知すると、検索結果３Ｄ表示部１１３は、処理をステップＳ９０１に進める。
ステップＳ９０１において、端末装置１０３の検索結果３Ｄ表示部１１３は、検知したユーザ操作の内容判定を行う。
ここでは、操作内容を、検索実行操作であるか、それ以外であるかを判定する。ユーザーは、検索実行操作以外の操作としては、軸回転操作や表示範囲指定操作等の操作を行うことができる。
Ｙｅｓ、すなわち、検索実行操作と判定した場合、検索結果３Ｄ表示部１１３は、処理をステップＳ９０２に進める。
Ｎｏ、すなわち、軸回転操作や表示範囲指定操作と判定した場合、検索結果３Ｄ表示部１１３は、処理をステップＳ９０８に進める
ここでは、操作内容を、検索実行操作であるか、それ以外であるかを判定する。ユーザーは、検索実行操作以外の操作としては、軸回転操作や表示範囲指定操作等の操作を行うことができる。
Ｙｅｓ、すなわち、検索実行操作と判定した場合、検索結果３Ｄ表示部１１３は、処理をステップＳ９０２に進める。
Ｎｏ、すなわち、軸回転操作や表示範囲指定操作と判定した場合、検索結果３Ｄ表示部１１３は、処理をステップＳ９０８に進める
ステップＳ９０２において、端末装置１０３の検索要求送信部２１１は、ネットワーク２００を介して検索要求のコマンドを録画装置２０２に送信する。
検索要求のコマンドは、検索画像表示領域３０３に表示された検索画像３１１を含んで構成される。
説明の簡略化の為、本発明の実施の形態に係る監視システムＸでは詳細に言及しないが、検索要求に、日や時刻の範囲、検索対象カメラ等の検索条件、検索結果画像の最大表示数等を含む、表示条件等の情報を備えることも可能である。
検索要求のコマンドは、検索画像表示領域３０３に表示された検索画像３１１を含んで構成される。
説明の簡略化の為、本発明の実施の形態に係る監視システムＸでは詳細に言及しないが、検索要求に、日や時刻の範囲、検索対象カメラ等の検索条件、検索結果画像の最大表示数等を含む、表示条件等の情報を備えることも可能である。
タイミングＴ９４０では、検索要求送信部２１１は、検索要求のコマンドの通信を行わう。
ステップＳ９０３において、端末装置１０３の検索結果受信部２１２は、検索結果データの受信待機を行う。
検索結果データの着信を検知すると、検索結果受信部２１２は、処理をステップＳ９０４に進める。
検索結果データの着信を検知すると、検索結果受信部２１２は、処理をステップＳ９０４に進める。
ステップＳ９０４において、端末装置１０３の検索結果受信部２１２は、録画装置２０２から送信された検索結果データを受信する。
検索結果データは、検索結果画像やその画像の撮影時刻情報、撮影位置情報、後述する類似度情報をそれぞれ１つ以上含んで構成される。
検索結果データは、検索結果画像やその画像の撮影時刻情報、撮影位置情報、後述する類似度情報をそれぞれ１つ以上含んで構成される。
ステップＳ９０５において、端末装置１０３の検索結果受信部２１２は、受信データの内容判定を行う。具体的には、受信データが検索結果であるか、検索不能通知であるかを判定する。
Ｙｅｓ、すなわち受信データの内容を検索結果と判定した場合、検索結果受信部２１２は、処理をステップＳ９０６に進める。
Ｎｏ、すなわち検索不能通知と判定した場合、検索結果受信部２１２は、処理をステップＳ９１３に進める。
Ｙｅｓ、すなわち受信データの内容を検索結果と判定した場合、検索結果受信部２１２は、処理をステップＳ９０６に進める。
Ｎｏ、すなわち検索不能通知と判定した場合、検索結果受信部２１２は、処理をステップＳ９１３に進める。
ステップＳ９０６において、端末装置１０３の検索結果３Ｄ表示部１１３は、受信した検索結果に含まれる全ての検索結果画像について、その撮影時刻情報と検索画像３１１の撮影時刻情報から、時間差を算出し、記憶部のＲＡＭやＨＤＤやフラッシュメモリ上の変数やｔｅｍｐファイル等である一時記憶媒体に記憶する。時間差の算出は、単純な時刻同士の引き算や、引き算の絶対値や、画像ＩＤのフレーム数の差等で求めることが可能である。
ステップＳ９０７において、端末装置１０３の検索結果３Ｄ表示部１１３は、受信した検索結果に含まれる全ての検索結果画像について、その撮影位置情報と検索画像３１１の撮影位置情報から、距離を算出し、一時記憶媒体に記憶する。
距離の算出は、例えば、撮影位置情報がＧＰＳによりもたらされる経度緯度であった場合には、一般的な測量計算にて緯度経度から２点の平面直角座標を求め、その２点間距離を求めることが可能である。また例えば、平面地図の座標として与えられる場合には、その２点の座標から２点間距離を求めることが可能である。
距離の算出は、例えば、撮影位置情報がＧＰＳによりもたらされる経度緯度であった場合には、一般的な測量計算にて緯度経度から２点の平面直角座標を求め、その２点間距離を求めることが可能である。また例えば、平面地図の座標として与えられる場合には、その２点の座標から２点間距離を求めることが可能である。
ステップＳ９０８において、端末装置１０３の検索結果３Ｄ表示部１１３は、３軸の検索結果表示領域３０５における表示位置と、これらから求められる表示範囲を算出し、画面表示する。
表示位置は、時間差軸回転ボタン４５１、距離軸回転ボタン４５２、類似度軸回転ボタン４５３用に記憶部に記憶されている回転量を基に算出する。なお、上述のように、この回転量はユーザーによりユーザーインターフェイスを用いて変更可能である。
表示位置は、時間差軸回転ボタン４５１、距離軸回転ボタン４５２、類似度軸回転ボタン４５３用に記憶部に記憶されている回転量を基に算出する。なお、上述のように、この回転量はユーザーによりユーザーインターフェイスを用いて変更可能である。
ステップＳ９０９において、端末装置１０３の検索結果３Ｄ表示部１１３は、ステップＳ９０４にて受信した全ての検索結果画像に対して、ステップＳ９１０以降の処理を完了したかどうかを判定する。
Ｙｅｓ、すなわち完了と判定した場合、検索結果３Ｄ表示部１１３は、処理をステップＳ９００に戻して、また操作の待機を行う。
Ｎｏ、すなわち未完了と判定した場合、検索結果３Ｄ表示部１１３は、処理をステップＳ９１０に進める。
Ｙｅｓ、すなわち完了と判定した場合、検索結果３Ｄ表示部１１３は、処理をステップＳ９００に戻して、また操作の待機を行う。
Ｎｏ、すなわち未完了と判定した場合、検索結果３Ｄ表示部１１３は、処理をステップＳ９１０に進める。
ステップＳ９１０において、端末装置１０３の検索結果３Ｄ表示部１１３は、検索結果画像の表示判定を行う。
表示判定は、時間差、距離、類似度情報のそれぞれに対し、表示範囲指定ボタンで与えられた指定値との大小を比較して、検索結果表示領域３０５に表示される表示範囲内か判定を実行する。上述のように、時間差は、ステップＳ９０６で算出し、一時記憶媒体に記憶されている。距離は、ステップＳ９０７で算出し、一時記憶媒体に記憶されている。また、類似度情報は、録画装置２０２が後述するステップＳ９２５で作成し、ステップＳ９０４で受信されて一時記憶媒体に記憶されている。
Ｙｅｓ、すなわち、例えば着目した検索画像３１１の検索結果画像の、時間差、距離、類似度が全て表示範囲内である場合には、表示と判定し、検索結果３Ｄ表示部１１３は、処理をステップＳ９１１に進める。
Ｎｏ、すなわちそれ以外の場合には、非表示と判定し、検索結果３Ｄ表示部１１３は、処理をステップＳ９０９に戻す。
表示判定は、時間差、距離、類似度情報のそれぞれに対し、表示範囲指定ボタンで与えられた指定値との大小を比較して、検索結果表示領域３０５に表示される表示範囲内か判定を実行する。上述のように、時間差は、ステップＳ９０６で算出し、一時記憶媒体に記憶されている。距離は、ステップＳ９０７で算出し、一時記憶媒体に記憶されている。また、類似度情報は、録画装置２０２が後述するステップＳ９２５で作成し、ステップＳ９０４で受信されて一時記憶媒体に記憶されている。
Ｙｅｓ、すなわち、例えば着目した検索画像３１１の検索結果画像の、時間差、距離、類似度が全て表示範囲内である場合には、表示と判定し、検索結果３Ｄ表示部１１３は、処理をステップＳ９１１に進める。
Ｎｏ、すなわちそれ以外の場合には、非表示と判定し、検索結果３Ｄ表示部１１３は、処理をステップＳ９０９に戻す。
ステップＳ９１１において、端末装置１０３の検索結果３Ｄ表示部１１３は、検索結果画像の検索結果表示領域３０５における表示位置を算出する。
表示位置は、ステップＳ９０６で算出し一時記憶媒体に記憶されている時間差、ステップＳ９０７で算出し一時記憶媒体に記憶されている距離、ステップＳ９０４で受信した検索結果に含まれる類似度情報を基に算出する。
表示位置は、ステップＳ９０６で算出し一時記憶媒体に記憶されている時間差、ステップＳ９０７で算出し一時記憶媒体に記憶されている距離、ステップＳ９０４で受信した検索結果に含まれる類似度情報を基に算出する。
ステップＳ９１２において、端末装置１０３の検索結果３Ｄ表示部１１３は、検索結果画像をステップＳ９１１で求めた表示位置を中心座標として、画面表示する。
表示完了後、着目する検索結果画像を一つ進めた上で、検索結果３Ｄ表示部１１３は、処理をステップＳ９０９に戻す。
表示完了後、着目する検索結果画像を一つ進めた上で、検索結果３Ｄ表示部１１３は、処理をステップＳ９０９に戻す。
ステップＳ９１３において、端末装置１０３の検索結果３Ｄ表示部１１３は、検索ができない旨を画面表示する。
表示の完了後、検索結果３Ｄ表示部１１３は、処理をステップＳ９００に戻す。
表示の完了後、検索結果３Ｄ表示部１１３は、処理をステップＳ９００に戻す。
次に、録画装置２０２側の処理の流れを説明する。
ステップＳ９２０において、録画装置２０２の制御部は、検索要求の受信待機を行う。検索要求の着信を検知すると、録画装置２０２の制御部は、処理をステップＳ９２１に進める。
ステップＳ９２０において、録画装置２０２の制御部は、検索要求の受信待機を行う。検索要求の着信を検知すると、録画装置２０２の制御部は、処理をステップＳ９２１に進める。
ステップＳ９２１において、録画装置２０２の制御部は、端末装置１０３から送信された検索要求を受信する。
ステップＳ９２２において、録画装置２０２の制御部は、受信した検索要求に含まれる検索画像に対して顔検出処理を行う。
ステップＳ９２３において、録画装置２０２の制御部は、ステップＳ９２２での顔検出結果の判定を行う。顔検出は公知の技術にて実行する。
Ｙｅｓ、すなわち顔が検出された場合、録画装置２０２の制御部は、処理をステップＳ９２４に進める。
Ｎｏ、すなわち顔が、検出されなかった場合には、録画装置２０２の制御部は、処理をステップＳ９２８に進める。
Ｙｅｓ、すなわち顔が検出された場合、録画装置２０２の制御部は、処理をステップＳ９２４に進める。
Ｎｏ、すなわち顔が、検出されなかった場合には、録画装置２０２の制御部は、処理をステップＳ９２８に進める。
ステップＳ９２４において、録画装置２０２の制御部は、ステップＳ９２２で求めた顔検出結果から、顔の画像領域を算出し、顔画像データを求める。
ステップＳ９２５において、録画装置２０２の制御部は、求めた顔画像データの画像特徴量を算出する。算出する画像特徴量の種類や算出方法は従来と同様である。
ステップＳ９２６において、録画装置２０２の制御部は、ステップＳ９２５で求めた検索画像の画像特徴量を基に検索を実行する。
録画装置２０２の制御部は、この検索時に、画像データの他に、画像の撮影時刻情報や撮影位置情報、類似度情報等を含んだ検索結果を算出する。
類似度情報を算出としては、所定の重み付けを用いて、例えば、上述の検索画像の画像特徴量と、録画装置２０２に記録されている各画像の画像特徴量とを比較して、それぞれの画像間の画像特徴量の情報をベクトル量又はスカラー量として算出する。
そして、録画装置２０２の制御部は、所定の値以上の類似度を備える画像の集合を検索結果として生成する。
録画装置２０２の制御部の作成する検索結果に含まれる画像の集合は、録画装置２０２に記録されている各画像を縮小化した画像（サムネイル）を使用する。
録画装置２０２の制御部は、この検索時に、画像データの他に、画像の撮影時刻情報や撮影位置情報、類似度情報等を含んだ検索結果を算出する。
類似度情報を算出としては、所定の重み付けを用いて、例えば、上述の検索画像の画像特徴量と、録画装置２０２に記録されている各画像の画像特徴量とを比較して、それぞれの画像間の画像特徴量の情報をベクトル量又はスカラー量として算出する。
そして、録画装置２０２の制御部は、所定の値以上の類似度を備える画像の集合を検索結果として生成する。
録画装置２０２の制御部の作成する検索結果に含まれる画像の集合は、録画装置２０２に記録されている各画像を縮小化した画像（サムネイル）を使用する。
ステップＳ９２７において、録画装置２０２の制御部は、ネットワーク２００を介して検索結果を端末装置１０３へ送信する。
タイミングＴ９４１にて、録画装置２０２の制御部は、検索結果の通信を行う。
送信が完了した後、録画装置２０２の制御部は、処理をステップＳ９２０に戻す。
送信が完了した後、録画装置２０２の制御部は、処理をステップＳ９２０に戻す。
ステップＳ９２８において、録画装置２０２の制御部は、検索不能通知を端末装置１０３へネットワーク２００を介して送信する。
この検索不能通知は、検索した画像に、類似度が所定の値以上の画像を発見できなかったことを示す。
この検索不能通知は、検索した画像に、類似度が所定の値以上の画像を発見できなかったことを示す。
タイミングＴ９４１にて、録画装置２０２の制御部は、検索不能通知の通信を行う。
送信完了後、録画装置２０２の制御部は、処理をステップＳ９２０に戻す。
送信完了後、録画装置２０２の制御部は、処理をステップＳ９２０に戻す。
以上のように構成することで、以下のような効果を得ることができる。
まず、従来技術１の画像検索方法は、検索結果を画像の類似度により、散布図形式で可視化空間内に「フワフワ」運動させて表示させることができる。
しかしながら、従来技術１においては、類似度と画像特徴量のみを検索画像の結果表示に用いており、カメラの番号順の系列、画像の時系列、類似度の系列といった、監視システムに必要な系列の軸に基づいて表示を行う検索結果表示方法は示されていなかった。
このため、従来技術１で開示されている表示方法を、監視システムの検索結果表示方法に用いると、各画像間の相関関係が把握しづらく、使い勝手が悪いという問題があった。
まず、従来技術１の画像検索方法は、検索結果を画像の類似度により、散布図形式で可視化空間内に「フワフワ」運動させて表示させることができる。
しかしながら、従来技術１においては、類似度と画像特徴量のみを検索画像の結果表示に用いており、カメラの番号順の系列、画像の時系列、類似度の系列といった、監視システムに必要な系列の軸に基づいて表示を行う検索結果表示方法は示されていなかった。
このため、従来技術１で開示されている表示方法を、監視システムの検索結果表示方法に用いると、各画像間の相関関係が把握しづらく、使い勝手が悪いという問題があった。
これに対して、本発明の実施の形態に係る監視システムＸにおける検索結果表示方法では、検索画像に対する類似度差を系列とした類似度軸と、該検索画像に対する距離差を系列とする距離軸と、該検索画像に対する時間差を系列とする時間差軸とから構成される空間に検索結果画像を表示することができる。
これにより、検索結果の画像の相関関係を、２次元以上の観点から容易に把握することができる。
これにより、検索結果の画像の相関関係を、２次元以上の観点から容易に把握することができる。
また、本発明の実施の形態に係る監視システムＸにおける検索結果表示方法は、軸を回転させても距離感覚を容易に把握できる斜投影（平行投影）で表示する。さらに、各軸を回転させることができ、回転しても、距離の比率を保つ「回転する斜投影」にて表示可能である。
これにより、各画像の相関関係が３次元表示を行っても崩れることがなく、各画像間の意味づけを容易に行うことができる。よって、例えば、ある人物が、この場所からその場所に、どのような時間経過を辿って移動したかということを、簡単に把握することができる。
これにより、各画像の相関関係が３次元表示を行っても崩れることがなく、各画像間の意味づけを容易に行うことができる。よって、例えば、ある人物が、この場所からその場所に、どのような時間経過を辿って移動したかということを、簡単に把握することができる。
さらに、本発明の実施の形態に係る監視システムＸにおける検索結果表示方法においては、各軸を回転させた状態で、各軸のどこからどこまでの画像を表示するのかの範囲を設定可能である。
これにより、容易にある画像の各系列での近傍にある、目的の人物の画像を絞り込むことが可能になり、多数の画像から検索するのに必要な画像を容易に発見することができる。
これにより、容易にある画像の各系列での近傍にある、目的の人物の画像を絞り込むことが可能になり、多数の画像から検索するのに必要な画像を容易に発見することができる。
なお、説明の簡略化のため、図１においては撮像装置２０１や録画装置２０２、端末装置１０３は各１台の構成で示したが、これらはネットワーク２００に対し、複数台の接続が可能である。
また本発明の実施の形態に係る監視システムＸにおいては、人物検索に関わる顔検出処理や画像特徴量算出処理等を録画装置２０２上で実行する構成にて示したが、ネットワーク２００で接続された録画装置２０２とは別個の装置にて実行するようにしてもよい。
また本発明の実施の形態に係る監視システムＸにおいては、時間差算出や距離算出を端末装置１０３におけるステップＳ９０６や９０７の処理要素として示したが、録画装置２０２側の処理要素とすることも可能である。
また本発明の実施の形態に係る監視システムＸにおいては、録画装置２０２で、検索結果を完全に生成完了してから端末装置１０３側に送信する処理の流れを示したが、検索結果が部分的に生成される毎に端末装置１０３側に逐次送信する処理の流れであってもよい。
また本発明の実施の形態に係る監視システムＸにおいては、人物検索を対象に示したが、本発明は人物だけでなく一般的な画像検索にも適用できることはいうまでもない。
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
１０３ 端末装置
１１３ 検索結果３Ｄ表示部
２００ ネットワーク
２０１ 撮像装置
２０２ 録画装置
２０３ 端末装置
２１１ 検索要求送信部
２１２ 検索結果受信部
２１３ 検索結果表示部
２１４ 映像再生表示部
３０１ 再生映像表示領域
３０２ 映像再生操作領域
３０３ 検索画像表示領域
３０４ 検索実行領域
３０５ 検索結果表示領域
３０６ 検索結果表示順指定領域
３１１ 検索画像
３２１〜３２５ 検索結果画像
４０５ 検索結果表示領域
４１１〜４１５ 検索結果画像
４２１ 時間差軸
４２２ 距離軸
４２３ 類似度軸
４３１〜４３５ 座標点
４４１〜４４５ 座標点
４５１ 時間差軸回転ボタン
４５２ 距離軸回転ボタン
４５３ 類似度軸回転ボタン
４６１〜４６２ 表示範囲指定ボタン
６０１ 表示面
６０２ ３次元空間
６０３〜６０４ 面
Ｘ、Ｙ 監視システム
１１３ 検索結果３Ｄ表示部
２００ ネットワーク
２０１ 撮像装置
２０２ 録画装置
２０３ 端末装置
２１１ 検索要求送信部
２１２ 検索結果受信部
２１３ 検索結果表示部
２１４ 映像再生表示部
３０１ 再生映像表示領域
３０２ 映像再生操作領域
３０３ 検索画像表示領域
３０４ 検索実行領域
３０５ 検索結果表示領域
３０６ 検索結果表示順指定領域
３１１ 検索画像
３２１〜３２５ 検索結果画像
４０５ 検索結果表示領域
４１１〜４１５ 検索結果画像
４２１ 時間差軸
４２２ 距離軸
４２３ 類似度軸
４３１〜４３５ 座標点
４４１〜４４５ 座標点
４５１ 時間差軸回転ボタン
４５２ 距離軸回転ボタン
４５３ 類似度軸回転ボタン
４６１〜４６２ 表示範囲指定ボタン
６０１ 表示面
６０２ ３次元空間
６０３〜６０４ 面
Ｘ、Ｙ 監視システム
Claims (2)
- 撮像装置と、録画装置と、端末装置を備えて類似画像を検索する監視システムにおける検索結果表示方法において、
検索画像に対する類似度差を系列とした類似度軸と、
該検索画像に対する距離差を系列とする距離軸と、
該検索画像に対する時間差を系列とする時間差軸とから構成される空間に検索結果画像を表示する
ことを特徴とする検索結果表示方法。 - 撮像装置と、録画装置と、端末装置を備えた類似画像検索システムにおいて、
前記録画装置、又は前記端末装置は、
検索画像に対する類似度差を系列とした類似度軸と、
該検索画像に対する距離差を系列とする距離軸と、
該検索画像に対する時間差を系列とする時間差軸とから構成される空間に検索結果画像を表示する表示手段を備える
ことを特徴とする監視システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009003446A JP2010160733A (ja) | 2009-01-09 | 2009-01-09 | 検索結果表示方法、監視システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009003446A JP2010160733A (ja) | 2009-01-09 | 2009-01-09 | 検索結果表示方法、監視システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010160733A true JP2010160733A (ja) | 2010-07-22 |
Family
ID=42577837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009003446A Pending JP2010160733A (ja) | 2009-01-09 | 2009-01-09 | 検索結果表示方法、監視システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010160733A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013171482A (ja) * | 2012-02-22 | 2013-09-02 | Omron Corp | 情報管理装置、情報管理プログラム、および情報管理方法 |
| JP2020135835A (ja) * | 2019-02-26 | 2020-08-31 | 株式会社富士通アドバンストエンジニアリング | 映像検索プログラム、映像検索方法、及び映像検索装置 |
| JP2021103495A (ja) * | 2019-12-25 | 2021-07-15 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11175556A (ja) * | 1997-12-12 | 1999-07-02 | Sharp Corp | 画像データベース装置 |
| JP2000029885A (ja) * | 1998-07-09 | 2000-01-28 | Hitachi Ltd | 類似画像検索方法および装置 |
| JP2003303333A (ja) * | 2002-04-12 | 2003-10-24 | Fuji Photo Film Co Ltd | 画像表示制御装置 |
| WO2005069170A1 (ja) * | 2004-01-15 | 2005-07-28 | Matsushita Electric Industrial Co., Ltd. | 画像ファイル一覧表示装置 |
-
2009
- 2009-01-09 JP JP2009003446A patent/JP2010160733A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11175556A (ja) * | 1997-12-12 | 1999-07-02 | Sharp Corp | 画像データベース装置 |
| JP2000029885A (ja) * | 1998-07-09 | 2000-01-28 | Hitachi Ltd | 類似画像検索方法および装置 |
| JP2003303333A (ja) * | 2002-04-12 | 2003-10-24 | Fuji Photo Film Co Ltd | 画像表示制御装置 |
| WO2005069170A1 (ja) * | 2004-01-15 | 2005-07-28 | Matsushita Electric Industrial Co., Ltd. | 画像ファイル一覧表示装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013171482A (ja) * | 2012-02-22 | 2013-09-02 | Omron Corp | 情報管理装置、情報管理プログラム、および情報管理方法 |
| JP2020135835A (ja) * | 2019-02-26 | 2020-08-31 | 株式会社富士通アドバンストエンジニアリング | 映像検索プログラム、映像検索方法、及び映像検索装置 |
| JP7227475B2 (ja) | 2019-02-26 | 2023-02-22 | 富士通株式会社 | 映像検索プログラム、映像検索方法、及び映像検索装置 |
| JP2021103495A (ja) * | 2019-12-25 | 2021-07-15 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
| JP7424048B2 (ja) | 2019-12-25 | 2024-01-30 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4945477B2 (ja) | 監視システム、人物検索方法 | |
| JP5053404B2 (ja) | 関連メタデータに基づくデジタル画像のキャプチャと表示 | |
| JP6006536B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 | |
| US20210390765A1 (en) | Output of virtual content | |
| JP7017175B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| JP6529267B2 (ja) | 情報処理装置及びその制御方法、プログラム、並びに記憶媒体 | |
| JP2014183380A (ja) | 情報処理プログラム、情報処理装置、情報処理システム、パノラマ動画表示方法、および、制御データのデータ構造 | |
| EP3070681A1 (en) | Display control device, display control method and program | |
| JP6495538B2 (ja) | イメージコンテンツ検索 | |
| JP5910447B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| WO2018074045A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP5966834B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2013210989A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP5329130B2 (ja) | 検索結果表示方法 | |
| JP4458886B2 (ja) | 複合現実感画像の記録装置及び記録方法 | |
| JP2010160733A (ja) | 検索結果表示方法、監視システム | |
| WO2013129188A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP7339740B2 (ja) | 画像表示装置、画像表示装置の制御方法及びプログラム | |
| WO2017022296A1 (ja) | 情報管理装置及び情報管理方法、並びに映像再生装置及び映像再生方法 | |
| JP4371863B2 (ja) | 再生装置及び方法 | |
| JP5920152B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2010061221A (ja) | ３次元動画像再生装置及び付加情報検索方法とプログラム | |
| JP5910446B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP5983259B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP4379594B2 (ja) | 追体験空間生成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110930 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120801 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121204 |