JP5058279B2 - 画像検索装置 - Google Patents
画像検索装置 Download PDFInfo
- Publication number
- JP5058279B2 JP5058279B2 JP2010050655A JP2010050655A JP5058279B2 JP 5058279 B2 JP5058279 B2 JP 5058279B2 JP 2010050655 A JP2010050655 A JP 2010050655A JP 2010050655 A JP2010050655 A JP 2010050655A JP 5058279 B2 JP5058279 B2 JP 5058279B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- registration
- search
- feature amount
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2166—Intermediate information storage for mass storage, e.g. in document filing systems
- H04N1/2179—Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries
- H04N1/2187—Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries with image input from a plurality of different locations or from a non-central location, e.g. from one or more users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
- H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2166—Intermediate information storage for mass storage, e.g. in document filing systems
- H04N1/2179—Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
- H04N2201/0034—Details of the connection, e.g. connector, interface
- H04N2201/0037—Topological details of the connection
- H04N2201/0039—Connection via a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0084—Digital still camera
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
監視システムは、防犯用の監視カメラ等の撮像装置、及び撮像装置で取得した静止画や動画の画像の表示機能を含むシステムである。
監視システムにおいては、ホテル、ビル、コンビニエンスストア、金融機関、ダム、又は道路のような不特定多数の人が訪れる施設等の防犯・防災用に監視したい場所に撮像装置を配置する。そして、撮像された映像を、管理室等にいる監視者が監視し、目的や必要に応じて注意を喚起したり、映像を録画・保存したりする。
しかしながら、昨今、監視システムが大規模化、広域化している。これに伴って、監視カメラの数も増大し、映像を目視でチェックするシステムでは、監視担当者の負担が増大している。
また、大量の記録画像から必要な画像を探し出すのために、膨大な時間がかかるようになってきている。
しかしながら、このような記録画像の検索技術を備えたシステムでは、検出事象を予め設定しておく必要があった。このため、予め設定されていない検出事象が発生した場合には、録画がされていないか、録画がされている場合であっても記録画像を目視等でチェックする必要があった。
これは、キー画像の画像特徴量と記録画像の画像特徴量の類似度を計算して、類似度の大きい記録画像を検索結果として選択するものである。
しかしながら、従来技術1のような従来の警備システムにおいては、犯罪計画者を含む不審な人物が何度か同じ場所に現われても、警備員が交代してしまうと目撃情報が引き継ぎされないことがあった。
このため、不審者情報を取りこぼしてしまうことがあるという問題があった。
本発明の画像検索装置は、前記画像検索手段が、検索結果を表示後に指定された登録IDの画像については、検索されたカウント回数にかかわらず、前記ユーザインタフェース手段に表示を行わせないことを特徴とする。
本発明の画像検索装置は、前記画像検索手段は、前記登録ID毎に、前記カウントされた回数、前記登録ID、関連付けられた前記登録IDのレコードを記憶し、前記レコードは、前記登録IDを引数にして、関連付けられた前記登録IDの先頭アドレスを保持することを特徴とすることを特徴とする。
〔監視システムXの制御構成〕
以下、本発明の実施の形態について、図面を参照して説明する。
図1を参照すると、本発明の実施の形態に係る監視システムXは、撮像装置201−1〜201−nと、画像記録装置202と、画像検索装置203とが、ネットワーク200にて接続されて構成されている。
また、ネットワーク200は、専用線、イントラネット、インターネット等のIPネットワーク等を用いてもよい。
撮像装置201−1〜201−nは、上述の検出事象を検出するための、例えば人感センサや動きセンサやマイク等も備えている。なお、撮像装置201−1〜201−nは、通常のテレビジョンカメラを用いて、画像記録装置202に直接接続し、画像記録装置202の画像・音声エンコーダ(図示せず)を用いて映像デジタルデータに変換するように構成してもよい。
画像記録装置202は、CPU等の制御部や演算部と、内蔵のDRAMやフラッシュメモリ等の記憶部とを備えている。
また、画像記録装置202は、ネットワーク200を介して撮像装置201−1〜201−nより入力された画像データを、HDD等の記録媒体に記録する。
監視システムXにおいて、他の部位が画像記録装置202から画像を読み出す場合、画像記録装置202に対して、カメラIDと時刻情報等を指定することで、該当する画像を読み出すことができる。
画像検索装置203は、下記で説明する処理の制御を行うCPU、MPU、DSP(デジタル・シグナル・プロセッサ)、GPU(グラフィック・プロセッシング・ユニット)、画像検索専用プロセッサ等の制御部と、制御部が実行する画像検索等の処理が記載されたプログラムと結果表示用の画像データと画像データの属性と一時データとを含んで記憶するRAM、ROM、HDD、フラッシュメモリ等の記憶部とを備えている。
また、画像検索装置203は、キーボードやマウス等のユーザ入力部を備え、画像記録装置202に記録された画像の再生操作や動画表示、人物に関する画像検索の実行操作や結果表示等を行うユーザインタフェースを提供する。
まず、画像特徴量登録部210は、人物検出として、公知の顔検出技術を用いて、映像中の顔の存在の有無判定をし、顔が存在する場合にはその領域の座標算出を行う。
同様に、オブジェクト検出は、特定の物品や着衣等の画像領域である「オブジェクト」の有無を判定し、座標算出を行う。
画像特徴量登録部210は、着衣領域の座標算出の場合、公知の技術として、例えば動的プログラミング等を用いて人物の輪郭を抽出し、その輪郭内の色の分布やテクスチャの周波数的な特徴(FFTやウェーブレット変換等を行ったときの周波数分布等)から着衣(服)であると検出するような技術を用いることができる。
また、画像特徴量登録部210は、画像特徴量の算出としては、色合い、形状等の画像の特徴を示す多次元ベクトルなどを使用する。
画像特徴量登録部210は、抽出した特徴量を画像特徴量記憶部220に保存する。具体的な多次元ベクトルの要素としては、顔特徴量、オブジェクトの特徴量等を計算する。
画像特徴量登録部210は、顔特徴量の検出としては、画像の輪郭、顔の輪郭の形状や方向、皮膚の色、目や鼻、口といった主要構成要素の大きさ・形状や配置関係等々から、統計的に個人毎に差異が現れるベクトル成分や統計量等を検出する。また、顔特徴量として、人物が焦っていたり、怒っていたりという「表情」の検出も行う。
さらに、画像特徴量登録部210は、画像認識技術を用いたオブジェクトの特徴量の検出として、例えば、着衣特徴量の検出を行う。画像特徴量登録部210は、着衣特徴量算出としては、着衣領域に対して、例えば、上述の着衣の色の分布や周波数的な特徴等を着衣特徴量として検出して用いることができる。
また、画像特徴量登録部210へ供給する画像フレームは、画像記録装置202から供給されても、撮像装置201−1〜201−nから直接供給されてもよい。
画像フレームの選択方法は、一定時間毎に選択する方法、画像に変化があった場合の画像フレームを選択する方法、センサーアラーム等外部からの通知に同期して選択する方法など各種方法を用いてよい。
たとえば、画像に変化があった場合の画像フレームを選択する方法として、画像フレーム毎に色合い、形状等の変化を監視する。その変化により、連続する画像フレームを所定の単位に分割し、その単位での代表的なフレームを選択することができる。
具体的には、画像特徴量記憶部220は、画像特徴量登録部210が検出した画像特徴量データを記憶部へ読み書きするための制御部で実行されるプログラム等と、記憶部のRAM等の主記憶装置、HDDやフラッシュメモリ等補助記憶装置から構成される。
また、画像特徴量記憶部220は、この画像抽出量データを、LANカード等のネットワーク送受信部(図示せず)を介して、画像記録装置202に記憶することもできる。
なお、画像特徴量記憶部220は、DMA(ダイレクト・メモリ・アクセス)等により、画像特徴量登録部210が直接、各種データ等を記憶部に記憶するような構成としてもよい。
画像検索部230は、入力された検索条件をもとに画像特徴量記憶部220を使用して、監視カメラ等の撮像装置201−1〜201−nで撮影した画像を記録する画像記録装置202の検索処理を行う。
具体的には、画像検索部230は制御部で実行されるプログラム等により、ユーザインタフェース部240より検索条件を受取ると、画像特徴量を画像特徴量記憶部220より読出し、検索条件に含まれるキー画像の画像特徴量との類似度を計算する。
この際、画像検索部230は、類似度がある閾値以上の場合、読み出した特徴量に対応する画像に関するデータを保存する。
画像検索部230は、検索範囲の画像特徴量について上述の処理が終了すると、保存している画像に関するデータ全てまたは所定件数を検索結果としてユーザインタフェース部240に応答する。
なお、キー画像の画像特徴量は、画像検索部230で計算してもよいし、キー画像の画像特徴量が画像特徴量記憶部220にある場合はそれを使用してもよい。
具体的には、ユーザインタフェース部240は、制御部で実行されるプログラム等により構成される。ユーザインタフェース部240は、ユーザにより設定された検索条件を他の部位に通知し、検索結果を液晶ディスプレイ等である表示部(図示せず)に表示する。また、ユーザインタフェース部240は、ユーザによるマウス等のポインティングデバイスやキーボードやジョグシャトル等を備える入力部(図示せず)からの入力を、OSのAPI(Application Programming Interface)を用いて入力指示として検知する。また、ユーザインタフェース部240は、これらの検知の結果等を液晶ディスプレイやプラズマディスプレイ等の表示部(図示せず)に表示する。
さらに、ユーザインタフェース部240は、画像の再生要求があった場合、対応する画像を画像記録装置202に要求する。ユーザインタフェース部240は、画像記録装置202から応答画像を受信すると、表示部の画像再生画面にその画像を表示する。このようにして、ユーザインタフェース部240は、画像記録装置202から画像を読み出し、表示することを連続的に繰り返すことで画像を表示部に再生表示する。
また、ユーザインタフェース部240は、画像再生中に再生を停止させるなどして、画像記録装置202に記録された任意の画像を表示部に表示することができる。
また、ユーザインタフェース部240は、画像特徴量登録部が登録した画像や検索結果の画像を表示する。さらに、ユーザインタフェース部240は、検索結果の画像から、ユーザが表示を抑止することを指示した画像を検知することができる。
さらに、画像特徴量登録部210と、画像特徴量記憶部220と、画像検索部230とは、制御部でハードウェア資源を使用して実行されるプログラムとして実装されていてもよい。このプログラムは、画像検索装置203の記憶部に記憶されていても、制御部内のROMやフラッシュメモリ等に記憶されていてもよい。
ここで図2を参照して、本実施形態の監視システムXの画像特徴量記憶部220が用いる画像特徴量のデータ構造の例について説明する。
画像特徴量記憶部220が用いる画像特徴量のデータは、登録IDD101、カメラIDD102、時刻D103、画像特徴量D104、縮小画像データD105、画像記録場所D106等により構成される。
登録IDD101は、画像特徴量のデータを識別する登録ID(Identification)を記憶する部位である。このIDは、ユニークな数値や文字を用いて生成し、所定の規則に従い、所定のIDの範囲を検索可能である。
カメラIDD102は、画像を撮影した撮像装置201−1〜201−nを同定するカメラIDを記憶する部位である。
時刻D103は、画像フレームが撮像または記録された時刻をグリニッジ標準時(GMT)やフレーム数等により表したデータを記憶する部位である。
画像特徴量D104は、画像フレームから画像特徴量登録部210が抽出した画像特徴量データを記憶する部位である。
縮小画像データD105は、画像フレーム、顔検出した顔領域、オブジェクト検出したオブジェクト領域等の縮小画像データを記憶する部位である。この縮小画像データは、画像特徴量登録部210等により、元の画像データから生成する。
画像記録場所D106は、画像記録装置202の場所(アドレス)等を同定するもので、画像記録装置202のIPアドレスや画像検索装置203の記憶部のアドレス等を記憶している。
次に、図3を参照して、ユーザインタフェース部240によりユーザの操作を検知して、検索条件を入力する表示例について説明する。
検索条件入力画面400は、画像検索に係るパラメータを入力する表示欄である表示欄410〜440と、設定を確定させる「設定」のボタン500等を備えている。
表示欄410においては、検索範囲となる画像データを供給する撮像装置201−1〜201−nを同定するカメラIDを指定する。この表示欄410にて入力するカメラIDについては、複数のカメラIDを指定してもよい。なお、この表示欄410のカメラIDは、カメラIDD102と直接対応していても、場所的・概念的な撮像装置のグループを示すような仮想的なカメラIDを示していてもよい。
表示欄420においては、検索範囲となる時刻の範囲等を指定する。
表示欄430においては、後述する検索処理を実行する時刻の範囲等を設定する。
表示欄440においては、類似人物が設定した検出回数以上検索された場合、アラーム通知を行うよう設定することができる。
ここで、ユーザインタフェース部240は、「設定」のボタン500の押下を検知すると、検索指示がなされたと判断する。
次に、図4のシーケンス図を参照して、監視システムXを用いて、ユーザの指示を検索開始の合図として、顔画像をキー画像として、録画された画像データから画像検索を行う一例の概要について説明する。
ここで、画像検索部230は、検索処理を実行する時刻(指定起動時刻)になると検索処理を開始する。この際には、タスクマネージャのようなサービスやCRON等のデーモン等により画像検索部230が起動される。
画像特徴量登録部210は、この画像データから画像特徴量を抽出し、画像特徴量データとして、画像特徴量記憶部220に記憶する「特徴量登録」処理を行う(タイミングT303)。
その後、画像特徴量登録部210は、画像検索部230に、後述する特徴量登録通知を行う(タイミングT304)。
その後、画像検索部230は、画像特徴量記憶部220より検索結果を受け取る(タイミングT306)
具体的には、画像検索部230は、検索結果の画像データや特徴量を比較して計算した類似度等の検索結果データを記憶部に記憶保存する。なお、この検索結果データは、画像特徴量記憶部220に記憶されるように構成してもよい。
設定された検索時刻が複数ある場合は、画像検索部230は、指定時刻に起動されて画像検索と、検索結果保存処理とを繰り返す(タイミングT307〜T311)。
すると、画像検索部230は、保存してある検索結果をユーザインタフェース部240に応答する(タイミングT313)。
画像検索部230は、検索終了時刻になると検索処理を終了する。
なお、この検索処理においては、複数の検索結果の画像を時系列的に並べ替えたものを表示してもよい。
ここで、本発明の実施の形態に係る監視システムXを用いたユーザ指示による検索処理について、各部位の処理について、より詳しく説明する。
以下において、図4に加えて、図5〜図8を参照して、各部位におけるフローチャートを基に説明する。
図5を更に参照して、画像特徴量登録部210が画像検索処理において行う特徴量登録処理の詳細について説明する。
この処理は、図4のタイミングT302〜T304の間の処理に対応する。
ここでは、画像特徴量登録部210は、画像記録装置202にコマンド等を送信し、画像データをネットワーク200を介して受信して取り込む。なお、撮像装置201−1〜201−nから直接画像データを取り込むこともできる。
その後、画像特徴量登録部210は、取り込んだ画像データについて、顔検出を行う。
Yesの場合、画像特徴量登録部210は、処理をステップS103に進める。
Noの場合、画像特徴量登録部210は、特徴量登録処理を終了する。
具体的に、画像特徴量登録部210は、顔が検出された場合、まず、検出された顔画像の特徴量を算出する。そして、画像特徴量登録部210は、算出した特徴量を画像特徴量記憶部220に記憶する。
なお、一枚の画像に複数の顔が検出された場合、顔画像毎に特徴量を算出し、記憶を行う。
具体的には、画像特徴量登録部210は、特徴量の登録完了後、画像検索部230に対して、新規に特徴量が登録されたことを通知する。この通知のデータには、登録された画像特徴量のデータの登録IDを含める。この登録IDを基に、画像特徴量記憶部220のカメラIDD102〜画像記録場所D106を閲覧することができ、これを基に、当該画像データと画像データに付随するセンサ等のデータとを閲覧することが可能である。
以上により、特徴量登録処理を終了する。
次に、図6を更に参照して、検索処理の実行時における画像検索部230の処理の一例を、検索実行処理として説明する。この処理は、図4のタイミングT301、T305〜T306、ステップS201の間の処理に対応するものである。
画像検索部230は、タイミングT301にて、画像特徴量登録部210より特徴量登録通知を受信すると処理を開始する。
具体的に、画像検索部230は、まず、登録通知された登録IDの特徴量データを画像特徴量記憶部220から取得する。つまり、画像検索部230は、この取得した特徴量を、検索のための画像であるキー画像の特徴量として用いる。
この上で、画像検索部230は、当該登録IDの画像特徴量データを使用して、画像特徴量記憶部220に登録された各登録IDの画像特徴量データの検索を実行する。
すなわち、画像検索部230は、画像特徴量記憶部220から画像特徴量データを読み出し、それぞれの登録IDにて記録された画像特徴量データと、登録通知された登録IDの画像特徴量データ(キー画像の画像特徴量データ)との類似度を計算する。
これは、画像記録装置202に記録された画像データの検索のうち、人物の画像データの検索を行うことにあたる。
登録IDがiの画像特徴量をXi=(xi1,xi2,…, xin)、
検索のためのキー画像の画像特徴量をY=(y1,y2,…,yn)、
画像特徴量の要素ごとの重要度を表す重み付け係数をW=(w1, w2,…,wn)とすると、特徴量の距離Ziは、以下の式(1)にて定義可能である。
Zi=Σjwj|xij − yj| …… 式(1)
ここで、jは、0≦j≦nを示す変数である。
この距離Ziの値を、各登録IDに係る画像と、キー画像との類似度とすることができる。すなわち、この距離Ziの値が小さいほど二つの画像は似ていることを示しているため、Ziが小さいほど登録通知された登録IDの画像と、画像特徴量記憶部220の登録IDの画像との類似度は大きいことになる。
なお、類似度の計算の際に、画像検索部230は、画像記録装置202に記録されている画像データそのものを取得して、画像特徴量を計算し直して、類似度を計算することもできる。
この際、画像検索部230は、この類似度の高い登録ID(あるいは、その登録IDに対応する画像の画像ID)を、画像検索装置203の記憶部にキー画像、類似度などと共に一時的に記憶しておく。以後、この類似度の高い登録IDを、便宜的に検索結果画像IDとよぶ。
なお、画像検索部230は、登録IDの他に、画像IDそのものやカメラID等も取得可能である。
ここで、図7を参照して、具体的な検索結果データレコードのデータ構造の例について説明する。
図7では、ステップS111の1回の処理で類似度が所定の閾値以上となる登録IDが複数得られた場合を想定しており、得られた登録ID(検索結果画像ID)を左側に示してある。その右側には、各登録ID(検索結果画像ID)に対して、「関連づけられたデータ」のレコードを記憶する。この「関連づけられたデータ」は、後述のステップにより作成されるもので、該登録IDがこれまでに検索された(類似度が高いと判断された)回数と、該登録IDの検索に使用されたキー画像の登録ID及び類似度の組のデータとを記憶することができる。関連づけは、登録IDを引数にして、「関連づけられたデータ」の先頭アドレスを保持するポインタ配列等により行うことができる。
なお、類似度は再計算可能なため、図4において類似度のない構成でも差し支えない。また、類似度の高い登録IDのみではなく、登録通知された登録IDすべてについて、関連づけられたデータを記憶する二次元アレイやリストのような構成にすることもできる。
加えて、検索に際しても、登録された登録IDに係る画像特徴量データのみ検索するのではなく、画像データを指定し、特徴量検出をして検索を行うこともできる。
画像検索部230は、具体的には、ステップS111で得られた検索結果画像IDを、画像IDに対応する時刻D103を参照するなどして、時系列順にソートする。
なお、この際に単純にソートするのではなく、カメラID等を用いて、撮像装置201−1〜201−nの位置関係や動線の関係等を用いて、人物の動き等を追いやすいようにソートすることも可能である。
また、事件があった場所を指定しておいて、その近くにあるカメラIDにより頻度高く映っていた登録IDの画像を、より多くカウントするように重み付けしてソートすることも可能である。
さらに、顔の画像特徴量を用いて、眉や口や目の位置関係等から、「焦り」「いらだち」といった表情を示している人物の写っている画像の登録IDを優先することもできる。さらに、この際に、顔の温度分布等を用いて興奮している人物の写っている画像の登録IDを優先させることもできる。
ここでは、画像検索部230は、検索結果画像IDの登録ID及び類似度の組のうち、時系列順で最も古い登録IDを選択する。すなわち、ソート時にもっとも最初になった登録IDを選択する。
具体的には、画像検索部230は、直前のステップS111で用いた全てのキー画像に対して、最古の検索結果画像IDに関連付けられたデータにそのキー画像が含まれているか否かチェックし、含まれていなければ、関連付けられたデータ(レコード)そのものが存在しない場合も含み、その場合はレコードを新規作成する。この上で、キー画像の登録IDと類似度の組をレコードに追加し、含まれるか否かに係らず、検索回数をカウントアップ(インクリメント)する。その検索結果画像IDに対してレコードを新規作成した場合は、検索回数は1となる。なお、この際に、登録ID及び類似度の組のうち、もっとも古い登録IDを、以降の検索のキー画像の登録IDとするような処理も可能である。
ここで記憶された各データは、検索結果データとして、後述のステップにてユーザインタフェース部240に送信される。
Yesの場合、すなわち処理が終了している場合、画像検索部230は、検索実行処理を終了する。
Noの場合、すなわち処理が終了していない場合、画像検索部230は、ステップS116に処理を進める。ここで、検索結果画像IDが複数あれば、最低1度はステップS116に処理を進める。
ここでは、画像検索部230は、ステップS112でソートされた、時系列順で次に古い、検索結果画像ID(登録ID)を取り出す。これが、次の検索結果データとなる。
Yesの場合、重複していた場合には、画像検索部230は、処理をステップS115に戻して次の検索結果画像IDについての処理を行う。つまり、重複していた検索結果画像IDは、「関連付けられたデータ」に変更を与えることなく、実質的に破棄される。
Noの場合、すなわち重複がなければ、画像検索部230は、ステップS118に処理を進める。
その後、画像検索部230は、処理をステップS115に戻す。
なお、S115〜S118は、省略しても良い。省略しても、最古の検索結果画像IDだけは、レコードに反映される。
ここで、この検索結果画像IDからの登録IDの検索において、ステップS117のような重複を検知するステップを用いた場合の効果について説明する。
まず、図8を参照して、ステップS117の判定を行わ「ない」場合の検索結果の表示例について説明する。
図8は、時系列順の登録IDに係る画像A、B、C、D、E、F、G、Hにおいて、互いの類似度が所定の閾値以上の場合、検索結果データのキー画像の画像と、このキー画像に関連づけられた画像とから構成される検索結果の表示例である。
すなわち、ステップS117のような重複の判定を行わない場合、撮像装置201−1〜201−nや画像記録装置202から供給される画像データから、顔が検出される都度に検索を行う。このため、関連づけられた画像データは、次に類似人物が出現すると検索結果画像データとして取得される。すなわち、図8のように、時間的に古い(検索結果画像+関連づけられた画像)に含まれる時間的に新しい(検索結果画像+関連づけられた画像)が複数得られ、すなわち検索結果データの入れ子構造が起きて、検索結果データを記憶する際の記憶容量の増大を招いてしまうという問題があった。なお、図8では、関連がない画像、例えば、B、C、Dは表示されないように構成可能である。
これに対して、本実施形態の処理にて、ステップS117の判定を行うことで、この冗長性を防止することができる。これにより、検索結果データにおける入れ子構造を防ぐことができる。
このように構成することにより、検索結果データの記憶容量を少なくすることができ、に効率的な処理を実現することができる。
以上により、画像検索部230の検索実行処理を終了する。登録通知された登録IDが複数ある場合には、上述の処理を繰り返して行う。
その後、画像検索部230は、図4のステップS201の検索結果データ保存処理を行う。
次に、図9を更に参照して、画像検索部230の検索結果データ応答処理について説明する。
この処理は、図4のタイミングT312にて、ユーザインタフェース部240から、検索結果要求を受け取った際の、画像検索部230の処理を示している。すなわち、図4のステップS203と、タイミングT313の処理に対応する。
具体的には、画像検索部230は、ユーザインタフェース部240から検索結果要求を受信すると、記憶部に記憶している検索結果データから、検索回数値の大きい登録IDを選択する。
この処理において、画像検索部230は、画像特徴量記憶部220から、上述のキー画像の登録IDと、キー画像の関連づけられたデータに係る登録IDとについて、対応する画像データと、この画像データに対応する他のデータとを取得する。具体的には、登録IDに対応する縮小画像データを取得する。
なお、画像記録装置202に対して、登録IDと、該登録IDに関連付けられたデータに係る登録IDとを用いてアクセスし、縮小画像でない画像データ等を取得することもできる。
具体的には、画像検索部230は、上述のステップで得た、キー画像の画像データと、これに関連づけられた画像データとを送信する。
これを受信したユーザインタフェース部240は、画像データ等を表示する。この際に、画像データに対応する他のデータも表示することができる。
なお、検索結果データの登録IDは、検索回数の大きい順にソートして表示することで、視認効果が高い見やすい表示を実現してもよい。
以上により、検索結果データ応答処理を終了する。
ここで、図10〜図12を参照して、ユーザインタフェース部240により表示される、検索結果データの表示例について説明する。
図10は、画像を重ねて表示する重ね表示モードの表示例を示している。この重ね表示モードにおいては、図7のデータフォーマットにおける検索結果画像の登録IDに対応する画像を前面に表示し、この登録IDに関連づけられた登録IDに対応する画像を背面に表示する。
このように、複数の画像を立体的に並べて重ねて表示することで、ある画像について検索された回数の多い少ないが容易に分かる。このため、類似の人物の出現頻度が一目で分かるという効果が得られる。この重ねた表示においては、前面、後面の画像の前後をユーザインタフェース部240からの操作により入れ換えることもできる。
この展開表示モードでは、前面の画像を右に表示し、背面の画像を左に表示することで、類似の人物の登場場面を確認できる。
なお、ユーザインタフェース部240を用いて、ユーザの要求に応じてこれら二つの検索結果データの重ね表示モードと展開表示モードとを切り換え可能なように構成してもよい。
図12(a)の表示例においては、図11のように展開して表示する例を示している。すなわち、画像Aに関連づけられた画像は、D、E、Fである。また、画像Dに関連づけられた画像は、G、H、Iである。また、画像Fに関連づけられた画像は、Iである。なお、ここでは、関連づけられていないB、Cは表示されないように構成可能である。
さらに、図12(b)のように、画像Aに関連づけられた画像D,E,Fを検索結果とする画像群を、画像Aに関連付けて画像間の二次的な関連を表示することもできる。
また、図12(c)のように、相関図自体をプロットすることも可能である。
上述のユーザ指示による検索処理においては、ユーザの指示を検索開始の合図として、録画された画像データから画像検索を行う例について記載した。
これに対して、テロ等の事前抑止を目的とする場合、予め設定された検索条件を用いた検索により、警告を表示等する自動検索を行うことが望ましいと考えられる。
図13は、自動検索を行い、類似人物があらかじめ指定した回数以上検出されるとユーザインタフェース部240に表示する場合のシーケンス図を示している。
図13において、各部は、図4のユーザの指示による検索処理とほぼ同様の処理を行う。ここで、図4と同じ符号は、同様のタイミングと処理を示している。
具体的には、画像検索部230は、検索結果データの各登録IDの検索回数をチェックする。その上で、登録IDにカウントアップされた検索回数が、検索条件入力画面400(図3参照)で設定したアラーム通知条件値以上となった場合、ユーザインタフェース部240に検索結果発報を送信する。
この検索結果発報を受信したユーザインタフェース部240は、アラーム通知等の表示を行う。
なお、検索回数としては、ある登録IDの画像が検索された回数に加えて、その登録IDに関連づけられた画像が検索された回数を加えた合算値を使用することもできる。これにより、画像の二次的な関連も考慮して表示を行うことができる。
図12の例では、画像Aに関する検索回数は、画像Aの検索回数+画像Dの検索回数+画像Fの検索回数となる。なお、画像Iのように重複がある場合、必要に応じて重複数を合算値から差し引く等の処理を行って表示することもできる。
一方、典型画像が出現する前の類似画像は、典型画像の検索回数に反映されていない。したがって、検索回数の多い典型画像を使用して検索を行うように構成することができる。この際、その検索のカウント数がアラーム通知条件として設定した値以上となった場合、アラーム表示することができる。また、この結果を利用して、典型画像が出現する前の類似画像を典型画像に関連づけて記憶するように構成することもできる。
以上により、自動検索処理を終了する。
次に、あらかじめ指定した画像の表示を抑止する例について説明する。
たとえば、監視システムXにより監視する区域に、要注意人物でない業務員等が現れた場合、このような人物の画像が検索されないように構成することが可能である。
図14を参照すると、このような構成の場合、例えば検索結果データレコードに「表示ON/OFF」のフィールドを備え、指定した登録IDについて、検索結果を表示する/しないという選択が可能である。
表示しない場合の指定は、図10〜図12のような検索結果を表示後、ユーザが表示を抑止する検索結果画像をポインティングデバイス等で指定するように構成できる。
まず、従来技術1の警備システムでは、不審な人物が何度か同じ場所に現われても、警備員が交代してしまうと目撃情報が引き継ぎされないため、不審者情報を取りこぼしてしまうという課題があった。
これに対して、本発明の実施の形態に係る監視システムXにおいては、画像検索部230は、監視カメラの映像から抽出された画像特徴量を使用して、画像記録装置の記録画像について類似の画像検索を行い、検索された類似性の高い登録IDの画像が検索された回数をカウントする。そして、あらかじめユーザが設定した条件とカウント回数に応じて、ユーザインタフェース部240に表示を行うことができる。これにより、監視カメラで撮影された映像の顔と類似の顔を監視カメラの記録映像から自動検索し、類似人物の出現頻度を推定することで、従来の警備システムを補完することができる。
また、監視システムXは、画像検索部230は、あらかじめ指定した記録画像については、検索されたカウント回数にかかわらず表示を行わないことができる。これにより、従業員等、業務上の理由等で監視カメラに複数回にわたり撮影される人物については、表示を抑止することができる。このため、不審人物を検出しやすくなるという効果が得られる。
また、本実施形態の監視システムXは、あらかじめ検索対象の人物を設定しておく必要がないため、不特定の人々なかから不審人物を探し出すのに有効なシステムを提供できる。
また、本実施形態の監視システムXの画像検索部230は、類似画像検索結果の保存において、時系列順に検索結果をチェックし、重複画像の記録を抑止することができる。これにより、検索結果記憶容量を削減することができ、各装置のコストを抑制することができる。
また、本実施形態の監視システムXのユーザインタフェース部240は、登録IDに関連づけられたデータを重ねて表示する表示モードと、並べて表示する表示モードとを備えることを特徴とする。これにより、多数の類似画像を効率的に分類して、チェックすることができる。
また、本実施形態の監視システムXの画像検索部230は、リアルタイムに類似画像を検索するだけではなく、画像記録装置202の記憶媒体に記憶した画像データを用いて上述の処理を行うことで、記録画像の解析による人物動向の解析にも活用可能である。
また、本実施の形態における画像検索装置203における各手段は、それぞれ独立したハードウェアで実現されなくてもよく、さらに一つのハードウェアで複数の手段を実現してもよい。たとえば、画像特徴量登録部210、画像特徴量記憶部220、画像検索部230をPC等のコンピュータで実現し、ユーザインタフェース部240を別のPC等のコンピュータで実現し、各コンピュータをネットワークで接続することで画像検索装置203を実現することもできる。
また、画像記録装置202に、画像特徴量登録部210、画像特徴量記憶部220、画像検索部230を備えるような構成も可能である。これにより、システムで使用するハードウェア台数を削減し、より低消費電力でコストを削減した監視システムを構成することができる。
201−1〜201−n 撮像装置
202 画像記録装置
203 画像検索装置
210 画像特徴量登録部
220 画像特徴量記憶部
230 画像検索部
240 ユーザインタフェース部
400 検索条件入力画面
410、420、430、440 表示欄
500 ボタン
X 監視システム
Claims (3)
- 撮像装置からの画像データを記録する画像記録装置と、
前記画像データの特徴量を登録する特徴量登録手段と、
前記画像データの登録IDと、登録された前記特徴量とを記憶する特徴量記憶手段と、
入力された検索条件をもとに、キー画像の前記登録IDに対応する前記特徴量を使用して検索を行う画像検索手段と、
入力された前記検索条件を前記画像検索手段に通知し、検索結果を表示するユーザインタフェース手段とを備え、
前記画像検索手段は、
前記キー画像の登録IDに対応する前記特徴量を用いて、類似性の高い特徴量をもつ登録IDの検索を行い、
検索された登録IDと同一の登録IDが時系列順でより古い検索結果にも含まれているか否かを判定し、
含まれていなかったと判定されたときには前記キー画像の登録IDの検索回数をカウントアップすると供に前記キー画像の登録IDと前記検索された登録IDとを関連づけ、含まれていると判定されたときには前記キー画像の登録IDの検索回数をカウントアップせず、
ユーザにより設定された条件と、前記登録IDの検索回数とに応じて、前記ユーザインタフェース手段に表示を行わせ、
前記ユーザインタフェース手段は、
前記キー画像の登録IDに対応する画像と、前記キー画像に関連付けられた前記検索された登録IDに対応する画像とを、重ねて若しくは展開して表示し、
前記キー画像の登録IDの検索回数と、前記検索された登録IDに対応する画像をキー画像として検索した際の検索回数とを加えた合算値により、前記登録IDの二次的な関連を表示し、又は
前記合算値により、前記登録IDの二次的な関連の相関図をプロットする
ことを特徴とする画像検索装置。 - 前記画像検索手段は、検索結果を表示後に指定された登録IDの画像については、前記指定された登録IDの検索回数にかかわらず、前記ユーザインタフェース手段に表示を行わせない
ことを特徴とする請求項1に記載の画像検索装置。 - 前記画像検索手段は、
前記キー画像の登録ID毎に、検索回数と前記検索された登録IDとを含むレコードを記憶し、
前記レコードは、前記キー画像の登録IDを引数にして、前記検索された登録IDの先頭アドレスを保持する
ことを特徴とする請求項1又は2に記載の画像検索装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010050655A JP5058279B2 (ja) | 2010-03-08 | 2010-03-08 | 画像検索装置 |
PCT/JP2010/006029 WO2011111129A1 (ja) | 2010-03-08 | 2010-10-08 | 画像検索装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010050655A JP5058279B2 (ja) | 2010-03-08 | 2010-03-08 | 画像検索装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011186733A JP2011186733A (ja) | 2011-09-22 |
JP5058279B2 true JP5058279B2 (ja) | 2012-10-24 |
Family
ID=44562977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010050655A Active JP5058279B2 (ja) | 2010-03-08 | 2010-03-08 | 画像検索装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5058279B2 (ja) |
WO (1) | WO2011111129A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5863400B2 (ja) * | 2011-11-07 | 2016-02-16 | 株式会社日立国際電気 | 類似画像検索システム |
JP6080940B2 (ja) * | 2013-02-28 | 2017-02-15 | 株式会社日立国際電気 | 人物検索方法及びホーム滞留人物検索装置 |
JP6213557B2 (ja) | 2013-03-01 | 2017-10-18 | 日本電気株式会社 | 情報処理装置、そのデータ処理方法、およびプログラム |
JP6144966B2 (ja) * | 2013-05-23 | 2017-06-07 | グローリー株式会社 | 映像解析装置及び映像解析方法 |
WO2015053604A1 (en) * | 2013-10-08 | 2015-04-16 | Data Calibre Sdn Bhd | A face retrieval method |
JP6362674B2 (ja) * | 2014-03-14 | 2018-07-25 | 株式会社日立国際電気 | 映像監視支援装置、映像監視支援方法、およびプログラム |
JP6396682B2 (ja) * | 2014-05-30 | 2018-09-26 | 株式会社日立国際電気 | 監視カメラシステム |
JP6420162B2 (ja) * | 2015-01-22 | 2018-11-07 | 株式会社デンソーアイティーラボラトリ | 画像検索装置、画像検索方法および画像検索プログラム |
KR102015588B1 (ko) * | 2015-07-16 | 2019-08-28 | 한화테크윈 주식회사 | 배회 경보 방법 및 장치 |
JP6649005B2 (ja) * | 2015-08-04 | 2020-02-19 | ユニファ株式会社 | ロボット撮影システムおよび画像管理方法 |
WO2017077902A1 (ja) * | 2015-11-06 | 2017-05-11 | 日本電気株式会社 | データ処理装置、データ処理方法、及び、プログラム |
JP6172551B1 (ja) * | 2016-06-09 | 2017-08-02 | パナソニックIpマネジメント株式会社 | 画像検索装置、画像検索システム及び画像検索方法 |
JPWO2018180201A1 (ja) * | 2017-03-29 | 2020-01-16 | 株式会社日立国際電気 | 類似顔画像検索システム |
US20200051176A1 (en) * | 2017-03-31 | 2020-02-13 | Nec Corporation | Analysis system |
WO2019176736A1 (ja) * | 2018-03-13 | 2019-09-19 | 本田技研工業株式会社 | 表示データ生成装置及びプログラム |
JP2020136714A (ja) * | 2019-02-13 | 2020-08-31 | パナソニックi−PROセンシングソリューションズ株式会社 | 情報処理装置および監視方法 |
US20220207077A1 (en) * | 2019-04-17 | 2022-06-30 | Yamaha Hatsudoki Kabushiki Kaisha | Image search device, component mounting system, and image search method |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003051076A (ja) * | 2001-08-07 | 2003-02-21 | Fujitsu General Ltd | 侵入監視装置 |
JP4687058B2 (ja) * | 2004-10-04 | 2011-05-25 | オムロン株式会社 | 不審者判定装置 |
JP4702598B2 (ja) * | 2005-03-15 | 2011-06-15 | オムロン株式会社 | 監視システム、監視装置および方法、記録媒体、並びにプログラム |
JP2007310464A (ja) * | 2006-05-16 | 2007-11-29 | Seiko Epson Corp | 監視カメラシステム及び監視カメラシステムの制御方法 |
JP5035595B2 (ja) * | 2006-07-21 | 2012-09-26 | オムロン株式会社 | 監視装置および方法、並びにプログラム |
JP4945477B2 (ja) * | 2008-02-21 | 2012-06-06 | 株式会社日立国際電気 | 監視システム、人物検索方法 |
JP2009205594A (ja) * | 2008-02-29 | 2009-09-10 | Sogo Keibi Hosho Co Ltd | 警備装置および不審者判定方法 |
JP5329130B2 (ja) * | 2008-06-17 | 2013-10-30 | 株式会社日立国際電気 | 検索結果表示方法 |
-
2010
- 2010-03-08 JP JP2010050655A patent/JP5058279B2/ja active Active
- 2010-10-08 WO PCT/JP2010/006029 patent/WO2011111129A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2011111129A1 (ja) | 2011-09-15 |
JP2011186733A (ja) | 2011-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5058279B2 (ja) | 画像検索装置 | |
JP5438436B2 (ja) | 画像検索装置 | |
US11157778B2 (en) | Image analysis system, image analysis method, and storage medium | |
JP6674584B2 (ja) | 映像監視システム | |
EP2954499B1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
JP4945477B2 (ja) | 監視システム、人物検索方法 | |
US20180115749A1 (en) | Surveillance system and surveillance method | |
JP5500303B1 (ja) | 監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体 | |
CN111860140B (zh) | 目标事件检测方法、装置、计算机设备和存储介质 | |
JP6172551B1 (ja) | 画像検索装置、画像検索システム及び画像検索方法 | |
US20160125232A1 (en) | Dynamic face identification | |
JP2006287287A (ja) | 画像処理装置およびそのシステム及びそれらのプログラムの記録媒体 | |
JP2011233133A (ja) | 万引き防止システム | |
JP2021072475A (ja) | 監視システムおよび監視システム設定プログラム | |
JP6867056B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP2010257449A (ja) | 人物検索装置、人物検索方法、及び人物検索プログラム | |
JP2021196741A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6206627B1 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP6683889B2 (ja) | 画像検索装置 | |
JP5202419B2 (ja) | 警備システムおよび警備方法 | |
US10783365B2 (en) | Image processing device and image processing system | |
JP6536643B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP5758165B2 (ja) | 物品検出装置および静止人物検出装置 | |
JP2012212217A (ja) | 画像監視装置 | |
JP2021072474A (ja) | サーバ装置およびアラーム確認画像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120710 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120731 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5058279 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |