JP5193944B2 - 画像処理方法 - Google Patents
画像処理方法 Download PDFInfo
- Publication number
- JP5193944B2 JP5193944B2 JP2009121775A JP2009121775A JP5193944B2 JP 5193944 B2 JP5193944 B2 JP 5193944B2 JP 2009121775 A JP2009121775 A JP 2009121775A JP 2009121775 A JP2009121775 A JP 2009121775A JP 5193944 B2 JP5193944 B2 JP 5193944B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- face
- unit
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims description 132
- 238000012544 monitoring process Methods 0.000 claims description 74
- 238000005070 sampling Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 description 111
- 238000003384 imaging method Methods 0.000 description 39
- 230000005540 biological transmission Effects 0.000 description 19
- 238000009826 distribution Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 14
- 238000000605 extraction Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000010923 batch production Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
しかしながら、近年の犯罪発生の増加に伴い、複数台の監視カメラ等の撮像装置が撮影した監視画像を、長期間保存することが求められてきている。そして、撮像装置の普及と、磁気記録装置の大容量化に伴い、容易に多地点の監視画像を長期間保存することが可能となってきた。
一方、このような撮像装置からの監視画像の増加により、監視者の負担が増加してきていた。このような監視者の負担を軽減するため、録画した監視画像から特定の人物や特定のシーンを探し出す技術がいくつか開発されている。たとえば、顔探索等の物体検出技術や、画像の構図や色分布等を用いた類似画像検索技術が用いられている。
ここで、図5を参照して、監視画像を対象とした類似顔画像検索方法を実行する従来の監視システムYの構成を説明する。
監視システムYは、撮像装置201−1〜201−nが、ネットワーク200にて、録画装置202と監視端末203とに接続されて構成されている。
ネットワーク200は、各装置を相互に接続しデータ通信を行う専用線、イントラネット、インターネット、無線LAN等の通信網である。
撮像装置201−1〜201−nは、撮像した画像に対してデジタル変換処理を行い、変換された画像データをネットワーク200を介して録画装置202へ出力するネットワークカメラ等の撮像装置である。撮像装置201−1〜201−nの接続数は、録画装置202の所定の接続台数内で変更可能である。
録画装置202は、CPU(セントラル・プロセッシング・ユニット、中央処理装置)MPU(マイクロ・プロセッシング・ユニット、マイコン)などの制御部や演算部と、RAMやフラッシュメモリ等の内部メモリと、HDD(ハード・ディスク・ドライブ)等の記憶媒体を備える、ネットワークデジタルレコーダ等の録画装置である。録画装置202は、撮像装置201−1〜201−nからネットワーク200を介して入力した静止画や動画像等の画像データを記録媒体に記録する。
監視端末203は、ネットワーク200を介して録画装置202から取得した画像データを、液晶ディスプレイやCRT等のディスプレイモニタに画面表示するPC(パーソナル・コンピュータ)等の装置である。監視端末203は、録画画像、検索結果画像、類似画像検索メニューなどを表示するモニタ、キーボードやマウス等のユーザ入力部などを備え、録画装置202に記録された画像の再生や、類似画像検索等のユーザインタフェースを提供する。
ネットワーク送受信部206が送受信するデータは、撮像装置201−1〜201−nから送信された撮像画像、監視端末203からの画像再生要求や検索要求や画像登録処理要求信号、監視端末203への配信画像や検索結果等に係るデータである。
ネットワーク送受信部206は、撮像装置201−1〜201−nからネットワーク200を介してネットワーク送受信部206に受信された撮像画像を、画像記録部207に出力する。
また、ネットワーク送受信部206は、監視端末203からネットワーク200を介して受信した画像再生要求信号を画像配信部208に、検索要求信号を画像類似度判定部211に、画像登録要求信号を画像特徴量記録部209に、それぞれ出力する。
また、ネットワーク送受信部206は、配信画像を画像配信部208から、検索結果を画像類似度判定部211から入力し、監視端末203へ送信する。
画像記録部207は、画像データを記録する際には、後で画像データを取り出すための情報、例えば、録画装置内でユニークになるように録画開始からフレーム単位で順に割り振ったフレーム番号を同時に記録する。このフレーム番号とは、映像等の動画像のように、所定の期間毎に画像が連続的に記憶される際に、順番に割り振られるような番号のことをいう。
また、画像記録部207は、画像が何時に撮像されたものであるか識別するための情報、例えば、画像時刻も同時に記録する。この際の、画像時刻は、例えば、録画装置202に内蔵している時計から出力される装置時刻や、撮像装置201−1〜201−nにそれぞれ内蔵している時計から出力される装置時刻である。
また、画像記録部207は、画像がどの撮像装置で撮像されたかものであるか識別するための情報、例えば、撮像装置のIPアドレスも同時に記録する。
画像配信部208は、監視端末203からネットワーク送受信部206を介して入力された画像再生要求信号に応じて配信画像を決定し、フレーム番号や画像時刻や撮像装置識別番号を利用して記録媒体から画像データを読出し、ネットワーク送受信部206に出力する。
画像特徴量記録部209は、まず、画像記録部207により記録された画像データを顔探索部212に出力することにより、顔画像データを取得する。そして、画像特徴量記録部209は、この顔画像データを画像特徴量抽出部210に出力することにより、画像特徴量を取得する。
画像特徴量記録部209は、画像特徴量を記録する際には、顔探索部212に入力された画像データに対応するフレーム番号も同時に記録する。この記録により生成されるフレーム番号と画像特徴量で構成されるリストデータを、以下で「画像特徴量リストデータ」と呼ぶ。これらの処理の開始は、監視端末203の登録要求部217からの要求により行う。
ここで画像特徴量とは、例えば、画像の色分布やエッジパターンの構図分布やそれらの組合せを用いる。
画像類似度判定部211は、以下で説明する検索画像の画像特徴量と、画像記録部207の記録媒体に記録されている画像データの顔画像の画像特徴量とから類似度を算出し、算出された類似度の大小から検索結果を生成する。
ここで、検索画像は、ネットワーク送受信部206を介して入力された、類似度を判定するために参照される雛形の画像として監視端末203によりユーザが指定した画像である。この検索画像は、検索要求信号の中に含まれているデータとして入力する。具体的には、画像のフレーム番号等により指定することができる。
また、記録媒体に記録されている顔画像データの画像特徴量は、画像特徴量記録部209に記録された上述の画像特徴量リストデータから取得する。
また、画像、類似度の算出方法については、「大規模な画像集合のための表現モデル」(廣池敦他、日本写真学会誌2003年66巻1号P93−P101)のような論文を参照して構築することができる。
ネットワーク送受信部213は、録画装置202から受信された配信画像を画像再生部216に、検索結果を検索結果表示部215にそれぞれ出力する。
ネットワーク送受信部213は、画像再生要求信号を画像再生部216から、検索要求信号を検索要求部214からそれぞれ入力し、ネットワーク200を介して録画装置202に送信する。
また、検索要求部214は、表示されるサムネイル画像データから、様々な検索条件を指定して、必要な画像を表示するためのユーザによる検索操作の信号を受信し、検索要求信号に変換して出力する部位である。
また、画像再生部216は、入力された録画装置202からの配信画像を監視端末203のモニタ上に表示される画面に描画する処理も行う。
まず、ユーザは、監視端末203の操作メニュー画面のユーザーインタフェイスを使って、ディスプレイモニタ上に表示される画像の再生中にイン・アウト点を指定してフレーム番号を入力したり、テキストボックス等からフレーム番号を直接入力する。このフレーム番号としては、登録処理を行う最初のフレームとなる登録開始フレーム番号や、登録処理を行う最後のフレームとなる登録終了フレーム番号のフレーム番号を入力する。
登録要求部217は、入力された登録開始フレーム番号と登録終了フレーム番号を含む、画像登録要求信号を作成する。この画像登録要求信号を受信することで、録画装置では、登録処理を開始する。
ここで、図6を参照して、従来の監視システムYを用いた登録処理の流れを示す。ここで、顔画豫の「登録」とは監視システムに関する当業者の用語であり、録画装置の記憶部に記憶されている画像のうち、顔を含む画像の顔領域から画像特徴量を抽出することを示す。
この登録処理においては、登録を行った画像を縮小画像は、検索処理時に検索結果としてディスプレイモニタに表示することができる。
このため、蓄積されたデータに対して、夜中等の時間を指定し、バッチ処理等を用いて実時間以上の時間をかけて、登録処理を実行していた。
また、ユーザの監視端末203からの画像登録要求信号に対して、録画されたデータについて、実時間以上の時間をかけて登録処理を実行していた。
このようにユーザからの要求にて、登録処理を実行する例について、以下にてより詳しく説明する。
具体的には、ユーザがユーザーインタフェイスを用いて、登録処理を行うように指示をする。この指示には、登録開始フレーム番号及び登録終了フレーム番号が含まれる。
登録要求部217は、このユーザの指示を検知すると、画像登録要求信号に変換する。登録要求部217は、この画像登録要求信号を、ネットワーク送受信部213から、ネットワーク200へ送信する。
タイミングT351は、録画装置202と監視端末203間の画像登録要求信号の通信を表す。
録画装置202の制御部は、画像登録要求信号の受信が完了したら、処理をステップS302に進める。
この判定においては、制御部は、例えば、登録開始フレーム番号及び登録終了フレーム番号が適切であるかについて検証する。すなわち、ユーザーの登録処理の指示が適切であるかについて検証する。
制御部は、登録開始フレーム番号及び登録終了フレーム番号が、画像記録部207に記憶されたデータに存在する場合には、画像登録要求信号が適正であると判定する。それ以外の場合は、制御部は、ユーザによる指示が不適であり画像登録要求信号が不適であると判定する。
Yesの場合は、制御部は、処理をステップS303に進める。
Noの場合は、制御部は、処理をステップS301に戻して、画像登録要求信号を待つ。
その後、制御部は、処理をステップS304に進める。
この上で、制御部は、処理をステップS305へと進める。
その後、録画装置202の制御部は、読み出した画像データを、顔探索部212に出力して顔探索を行わせ、その結果を得て内部メモリに記憶する。
この上で、制御部は、処理をステップS307に進める。
具体的には、顔探索部212の顔検索の結果にて、顔領域が1つ以上検知された場合に、Yesと判定する。それ以外、顔領域が1つも検知されなければ、Noと判定する。
Yesの場合は、制御部は、処理をステップS308に進める。
Noの場合は、制御部は、処理をステップS315に進む。
そして、画像特徴量抽出部210は、その画像特徴量を抽出して、画像特徴量記録部209に送信する。画像特徴量記録部209は、その画像特徴量を記録媒体に記録する。
その後、制御部は、全ての顔領域から特徴量抽出が終わったかを判定する。
未抽出の顔領域がある場合は、制御部は、その顔領域に対して、ステップS308の処理を繰り返す。
全ての顔領域に対して特徴量抽出が終わっている場合は、制御部は、処理をステップS311に進める。
その後、制御部は、処理をステップS312に進める。
Yesと判定した場合は、制御部は、登録処理を終了する。
Noと判定した場合には、制御部は、処理をステップS315に進める。
この上で、制御部は、ステップS305に処理を戻す。
その後、ユーザによる検索要求にて類似画像の検索を実行する。
録画装置202の制御部は、監視端末203の検索要求部214からの検索要求信号を受信すると、ユーザが指定した検索画像を顔探索部212に入力し、顔を探索する。
顔が検出された場合、画像特徴量抽出部210にてその検索画像に含まれる顔領域の画像特徴量を抽出する。そして、画像類似度判定部211にて、右記の画像特徴量と、予め登録処理により抽出された画像特徴量リストデータの特徴量とを比較し、画像特徴量を基に画像の類似性を判定し、画像特徴量リストデータに含まれるフレーム情報等を用いて、録画装置の記録画像からユーザが探したい人物の画像を検索処理の実行ごとに探し出す。
しかしながら、この類似画像検索方法は、顔画像の検知と特徴量抽出処理に膨大な演算が必要であり、演算に時間がかかるという問題があった。
このため、いくつか、この負荷を抑えるための方法が提案されている。
従来技術1の画像処理装置は、撮像素子が、全画素領域から素子の持つ解像度より低解像度で撮像することのできる解像度変換撮像動作と、全画素領域のうち一部の領域に限定して撮像動作を実施する部分撮像動作とを実行する。そして、画像処理回路が、撮像素子の解像度変換撮像動作によって得られた異なる時間の解像度変換撮像画像から移動物体が存在する可能性のある領域を検出する移動物体検出機能部と、この移動物体検出機能部によって検出された領域に対し撮像素子による部分撮像動作によって得られた部分画像データを対象として、人物の顔らしい領域を検出する。
これにより、従来技術1の画像処理装置は、顔の存在位置をおおよそ当たりをつけて少ない画素数の画像データを顔検出処理に送ることによって、効率良く顔検出処理を実施することができ、全体としての処理を高速化することができる。
このため、顔探索等の物体検出処理の演算量を削減し、処理時間を短縮することが求められていた。
〔監視システムXの制御構成〕
以下で、本発明の具体的な実施の形態を図面を参照して説明する。
まず、図1を参照して、監視画像を対象とした類似顔画像検索方法を実行する本発明の実施の形態に係る監視システムXの制御構成について説明する。
監視システムXは、撮像装置201−1〜201−nと、録画装置403と、監視端末203とが、ネットワーク200にて接続されている。この図1において、図5と同一の符号は、従来と同様の機能を提供する部位であることを示す。つまり、撮像装置201−1〜201−nと、監視端末203とは、従来の監視システムYと同様の構成要素を示す。
ネットワーク200は、各装置を結ぶ、LAN、光ファイバー、c.link、無線LAN、メッシュネットワーク等のデータ通信可能な回線である。また、ネットワーク200は、専用線、イントラネット、インターネット等のIPネットワーク等を用いてもよい。
監視端末203は、ネットワーク200を介して録画装置202から取得した画像データを、液晶ディスプレイやCRT等のディスプレイモニタに画面表示するPC/AT互換機やMAC等であるPC(パーソナル・コンピュータ)等の専用の監視端末装置である。監視端末203は、下記で説明する処理の制御を行うCPU等の制御部と、制御部が実行する処理が記載されたプログラムと結果表示用の画像データと画像データの属性と一時データとを含んで記憶するRAM、ROM、HDD、フラッシュメモリ等の記憶部とを備えている。監視端末203は、キーボードやマウス等のユーザ入力部を備え、録画装置202に記録された画像の再生操作や動画表示、人物検索の実行操作や結果表示等を行うユーザインタフェースを提供する。
なお、監視端末203は、通常のOS(オペレーティングシステム)がインストールされたPCの記憶部に記憶したプログラムにより実現してもよい。
さらに、制御部で実行されるプログラムは、各部をハードウェア資源を使用して実現するために用いられてもよく、記憶部に記憶されていても、制御部内のROMやフラッシュメモリ等に記憶されていてもよい。
ここで、録画装置403において、録画装置202と同じ符号をもつ部位は、録画装置202と同様の機能を備えている。この上で、録画装置403は、図5に示した機能部位に加え、顔探索前処理部401と顔探索間隔設定部402を備えて構成される。
この背景画像としては、例えば、事前に撮像装置ごとに撮影された複数フレームの平均加算フレームを用いて、撮像装置ごとにそれぞれ作成することができる。
この際に、時間が経つと背景画像が異なることがあるので、朝〜夜といった所定時間毎の背景画像を用いることができる。また、屋外においては、天気により露出が異なることがあるので、この露出による補正を行って正規化した背景画像を用いてもよい。さらに、人物が一つの場所に動かずにずっと寝ているといった事態が考えられるため、顔画像が検出されない画像に限って背景画像を作成するようにしてもよい。
さらに、登録処理の度に、登録開始フレーム番号及び登録終了フレーム番号の前後で、ランダムな範囲のフレームを抽出して、平均加算フレームを用いて背景画像を作成するようにしてもよい。これにより、人物の看板が置かれていたり、自動車が長時間駐車されている場合等の誤検知を避けることが可能になる。
また、背景差分量の判定に用いる閾値θは、各撮像装置に映る人の領域サイズにおける面積に相当する画素数を用いて算出することができる。
さらに、背景差分量は、背景画像と現フレームの全ての画素を比較し、輝度値が異なる画素数をカウントする。
このサンプリング間隔は、顔探索を行うフレームの画像を取得(サンプリング)する間隔を示す値である。
顔探索間隔設定部402は、背景差分量が閾値θよりも大きい場合は、顔探索間隔設定部402は、顔探索処理を実行する対象フレームのサンプリング間隔をT1とするように設定する。
一方、顔探索処理の結果、顔が未検知だった場合、顔探索間隔設定部402は、サンプリング間隔をT2とするように設定する。ここで、T1<T2とする。
本発明の実施の形態に係る登録処理においては、例えばT1=1、T2=3として次フレームとして処理するフレームのフレーム番号は、現フレーム番号にサンプリング間隔を加算した値として求めることができる。
ここで、図1〜2を更に参照して本発明の実施の形態に係る監視システムXを用いた登録処理についてより詳しく説明する。
監視システムXを用いた登録処理においては、複数のフレームの画像について所定の画像部分に関する情報を登録する。すなわち、例えば、複数の画像データから顔画像を所定の画像部分として、この顔画像が検出されたフレームの画像を登録するのに要する演算処理を軽減し、処理時間を短縮することができる。
この際に、顔探索処理よりも処理時間が短い、人物等である登録の対象の映り込みによる画像の変化を検知する処理を顔探索処理の前に実行する。本発明の実施の形態に係る登録処理においては、上述の背景差分量を、所定の閾値との比較する背景差分処理等を行う。
そして、監視システムXを用いた登録処理においては、背景差分量が閾値を越える場合、顔探索処理を実行する。この上で、画像の変化を検知する処理を実行せずに顔探索処理のみを実行するか、顔検索履歴を用いて顔探索処理を実行する時間間隔を変更する。すなわち、画像の変化量、顔検索履歴により登録処理を行うフレームのサンプリング間隔の変更を行う。
これにより、人が映っているシーンよりも人が映っていないシーンにおいて対象フレームの登録処理を行う間隔を大きくし、人が映っていないシーンの対象フレームを間引くことができる。よって、登録処理に要する時間を短縮できる。
なお、図2においては、従来技術1の登録処理の流れの図6と同じ番号のステップは同じ処理を行っているため、変更されたステップについて説明する。
ここで、図2においては、図6のステップに、ステップS500〜506が加わっている。また、ステップS315に代わりステップS507を行う。
その後、顔探索間隔設定部402は、処理をステップS305に進める。
その後、制御部は、処理をステップS501に進める。
Yes、すなわち前のフレームで顔を検知していた場合は、顔探索間隔設定部402は、処理をステップS504に進める。
No、すなわち顔が未検知の場合は、顔探索間隔設定部402は、処理をステップS502に進める。
この背景差分処理としては、具体的には上述のように、複数のフレームの差分値を用いた背景画像と、現フレームの画素毎に明度等を減算する。この際に、単なる減算ではなく、正規化した後、対数明度を用いて指数部位のみ比較するといった方法を用いることもできる。また、差分の計算の際に、各種フィルタを用いてノイズ除去処理を行うこともできる。
その後、制御部は、処理をステップS503に進める。
制御部は、顔探索前処理部401により求められた背景差分量が閾値θよりも大きい場合は、顔探索処理を実行する、すなわちYesと判定とする。制御部は、反対に、背景差分量が閾値θよりも小さい場合は、実行しない、すなわち、Noと判定する。
Yesの場合は、制御部は、処理をステップS504に進める。
Noの場合は、制御部は、処理をステップS507に進める。
具体的には、まず、制御部は、録画装置403の画像記録部207から画像データを読み出す。
その後、制御部は、読み出した画像データを顔探索部212に出力して顔探索を行わせ、その結果を取得して内部メモリに記憶する。
この上で、制御部は、顔探索処理結果を顔検索履歴(画像部分検索履歴)として記憶部に記憶する。
その後、制御部は、処理をステップS505に進める。
この上で、顔探索間隔設定部402は、処理をステップS307に進める。
その後は、ステップS312にて終了条件を満たした場合に、登録処理を終了する。
Yes、すなわち、検知した顔が1つ以上あれば、制御部は、処理をステップS308に進める。
No、すなわち、検知した顔が1つもなければ、制御部は、処理をステップS506に進める。
その後、制御部は、処理をステップS507に進める。
具体的には、制御部は、現フレーム番号にサンプリング間隔Tを加算した値を新たな現フレーム番号とする。
この上で、録画装置403の制御部は、処理をステップS305に戻す。
以上のように構成することで、顔探索に関する処理時間を少なくすることが可能になる。
本発明の効果として、顔探索に関する処理時間の短縮を図3、図4、図7を用いて、具体的に説明する。ここでは、従来技術1の登録処理において全フレームを対象として顔検索を行う場合と、本発明の実施の形態に係る登録処理においてフレームを間引いて顔検査を行う場合についての処理時間の概念的な比較について説明する。
図7の例を参照すると、従来の技術を用いて、全てのフレームに対して顔探索処理を行った場合に要する処理時間を比較例として示している。
各フレームの顔探索処理に関する処理時間については、黒色のバーとして示す。たとえば、処理時間601は、各フレームにおいて顔探索処理に要する処理時間の一つである。そして、それぞれのバーの長さを具体的な処理時間として示す。
この例の場合、図7に示すように、登録処理を行うフレーム数が20フレームであり、1フレームについて5t秒の処理時間が必要である。
つまり、全てのフレームに対して顔探索処理を実行すると顔探索に要する総処理時間は100t[秒]の時間を消費する。
ここで、図3を参照して、本発明の実施の形態に係る登録処理の実施例の各処理に係るフレームの種類について説明する。
フレーム101〜120が登録処理を行うフレームであるとすると:
・フレーム102、106,110、114は、背景差分処理を実行するフレームである。
・フレーム115、116は、背景差分処理と顔探索処理の両方を実行するフレームである。
・フレーム117〜120は、顔探索処理を実行するフレームである。
・フレーム101、103〜105、107〜109、111〜113が、フレーム間隔の設定によりスキップされる「間引き対象」のフレームである。
処理時間701は、間引いたフレームにおける処理時間であり、処理時間がないことを示す。
処理時間702は、背景差分処理を行ったフレームにおいて、背景差分処理に要した時間の一つである。
処理時間703は、背景差分処理と顔探索処理の両方を行ったフレームおいて背景差分処理と顔探索処理に要した時間の一つである。
処理時間704は、顔探索処理を行ったフレームにおいて背景差分処理と顔探索処理に要した時間である。
ここで、顔探索処理に要する処理時間704を5t秒、背景差分処理に要する処理時間702をt秒、背景差分処理と顔探索処理に要する処理時間703を6t秒とする。
これにより、計算すると、本発明の実施の形態に係る登録処理の総処理時間は、36t[秒]となる。
上述のように図7を参照すると従来の技術による登録処理の総処理時間は100t[秒]であるので、64%の処理時間を削減することができるという効果が得られる。
まず、従来の技術の監視システムYにおいては、撮像装置で撮像された画像に対して常時、全ての画像に対して顔領域を探索する顔探索処理を行っていた。
しかしながら、撮像装置による、撮影方向、撮影範囲は、通常、固定されている。
また、監視カメラの監視画像においては、設置された場所、時間帯等により人が映る頻度が少ない画像がある。たとえば、立ち入り禁止区域内に監視カメラが設置されている場合や、人通りが多い場所に設置されている監視カメラでも夜間の画像の場合では、ほとんど人が映っていないことが多かった。
これらの監視画像において、人がそもそも映っていない画像に対する顔探索処理は不要である。つまり、画像に対して常時、顔領域を抽出する処理を行う必要はなかった。
このために、本発明の実施の形態に係る監視システムXによる登録処理においては、まず、撮影方向、撮影範囲を固定しておき、監視カメラにおいて人が映っていない画像から背景画像を作成する。そして、登録処理において、当該フレームと背景画像の差分を背景差分量として算出することができる。この上で、背景差分量を、所定の閾値と比較し、顔探索処理を実行するか決定する。
これにより、人が映っていないと判定される画像に対しては顔探索処理を行わない。すなわち、顔探索処理を人が映っていると期待される画像に対してのみ顔探索処理を行うことができるため、顔画像の特徴量登録に要する処理時間を短縮することができる。
よって、登録処理に要する時間を短縮し、ほぼリアルタイムで登録処理を実行することができる。
つまり、前フレームで顔を検知した場合は現フレームに対する背景差分処理を省略することができる。
これにより、顔検知したフレームに対する処理時間について従来の処理時間よりも増加させずに、顔探索処理を行うことができる。
これに対して、本発明の実施の形態に係る監視システムXによる登録処理では、顔探索処理の前処理として、背景差分処理を実施することで、人が映っていない画像に対する処理時間を短縮できる。
また、処理対象のフレームを間引くことにより一連の画像で処理時間を短縮させることができる。また、処理対象のフレームを間引くことにより顔探索処理時間の削減だけでなく対象フレームの録画装置からの読出し処理に要する時間も削減できる。
本発明の実施の形態に係る監視システムXにおいては、このような登録処理時間の短縮により、リアルタイムに処理できる撮像装置の数を増やすことができる。
たとえば、登録処理を録画装置403にて実行する構成にて説明したが、録画装置とは別の装置で実行する構成であってもよい。
しかし、例えば、従来通りに常時顔探索を行う登録処理と、顔探索を常時行わない登録処理を各撮像装置で撮像した画像ごとに分けて用いてもよい。
たとえば、日中の時間帯の画像に対しては、従来通り常時顔探索を行う登録処理とすることができる。これにより、登録処理の誤差を少なくすることができる。
また、夜間の時間帯の画像に対しては、顔探索を常時行わない登録処理を用いてもよい。
これにより、監視カメラの前に一定時間立ち止まっている人物に対する登録処理を省略することができる。
たとえば、また本発明の実施の形態に係る監視システムXは、ナンバープレートの検索や製品検査のようなシステムに適用可能である。
さらに、登録したサムネイル画像やフレーム番号等を、監視端末203側に逐次送信するように構成してもよい。
200 ネットワーク
201−1〜201−n 撮像装置
202、403 録画装置
203 監視端末
206、213 ネットワーク送受信部
207 画像記録部
208 画像配信部
209 画像特徴量記録部
210 画像特徴量抽出部
211 画像類似度判定部
212 顔探索部
214 検索要求部
215 検索結果表示部
216 画像再生部
217 登録要求部
401 顔探索前処理部
402 顔探索間隔設定部
601、701、702、703、704 処理時間
X、Y 監視システム
Claims (1)
- 複数のフレームの画像について所定の画像部分に関する情報を登録する監視システムにおける画像処理方法において、
前記複数のフレームの画像から、登録対象の映り込みによる画像の変化を画像変化量として検知するステップと、
前記画像変化量に従い、前記画像部分を探索する処理を実行するかを判定するステップと、
前記画像部分の検索結果を画像部分検索履歴として記憶するステップと、
前記画像変化量として検知するステップを実行するかを前記画像部分検索履歴により判定するステップと、
前記画像変化量及び/又は前記画像部分検索履歴の判定結果を用いてサンプリング間隔を変更するステップとを備える
ことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009121775A JP5193944B2 (ja) | 2009-05-20 | 2009-05-20 | 画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009121775A JP5193944B2 (ja) | 2009-05-20 | 2009-05-20 | 画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010271817A JP2010271817A (ja) | 2010-12-02 |
JP5193944B2 true JP5193944B2 (ja) | 2013-05-08 |
Family
ID=43419806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009121775A Active JP5193944B2 (ja) | 2009-05-20 | 2009-05-20 | 画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5193944B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9721153B2 (en) | 2014-05-21 | 2017-08-01 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2496379A (en) | 2011-11-04 | 2013-05-15 | Univ Edinburgh | A freespace optical communication system which exploits the rolling shutter mechanism of a CMOS camera |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3560326B2 (ja) * | 1999-06-15 | 2004-09-02 | 株式会社日立国際電気 | 物体追跡方法及び物体追跡装置 |
JP4291251B2 (ja) * | 2000-09-28 | 2009-07-08 | 株式会社日立国際電気 | 物体検出方法及び物体検出装置並びに物体検出プログラム |
JP4603472B2 (ja) * | 2005-11-30 | 2010-12-22 | オリンパス株式会社 | 撮像装置及びインターバル撮影機能を備えた撮像装置 |
-
2009
- 2009-05-20 JP JP2009121775A patent/JP5193944B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9721153B2 (en) | 2014-05-21 | 2017-08-01 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type |
US10146992B2 (en) | 2014-05-21 | 2018-12-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type |
Also Published As
Publication number | Publication date |
---|---|
JP2010271817A (ja) | 2010-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4581924B2 (ja) | 画像再生装置、および画像再生プログラム | |
CN100502471C (zh) | 图像处理装置、图像处理方法和成像装置 | |
US8526742B2 (en) | Image processing apparatus, method, and program that classifies data of images | |
US7450756B2 (en) | Method and apparatus for incorporating iris color in red-eye correction | |
US20110052069A1 (en) | Image search apparatus | |
EP2709062B1 (en) | Image processing device, image processing method, and computer readable medium | |
US20090141937A1 (en) | Subject Extracting Method, Subject Tracking Method, Image Synthesizing Method, Computer Program for Extracting Subject, Computer Program for Tracking Subject, Computer Program for Synthesizing Images, Subject Extracting Device, Subject Tracking Device, and Image Synthesizing Device | |
US10664523B2 (en) | Information processing apparatus, information processing method, and storage medium | |
WO2012075817A1 (zh) | 一种文本图像的切边方法 | |
JP7292850B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2010140425A (ja) | 画像処理システム | |
JP6827790B2 (ja) | 画像処理装置およびその制御方法 | |
TWI267797B (en) | Method for recognizing objects in an image without recording the image in its entirety | |
CN110717452B (zh) | 图像识别方法、装置、终端及计算机可读存储介质 | |
US11170520B2 (en) | Image processing apparatus for analyzing an image to detect an object within the image | |
CN114840831A (zh) | 人脸图像的合法性验证方法、装置、电子设备和存储介质 | |
TWI671707B (zh) | 影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體 | |
JP5193944B2 (ja) | 画像処理方法 | |
JP6214762B2 (ja) | 画像検索システム、検索画面表示方法 | |
JP5865584B2 (ja) | 特定人物検知システムおよび検知方法 | |
JP7317556B2 (ja) | 監視装置及び監視方法 | |
JP2707426B2 (ja) | 路面状態検出装置 | |
CN114374797A (zh) | 具有两个输出接口的摄像装置 | |
US8538142B2 (en) | Face-detection processing methods, image processing devices, and articles of manufacture | |
JP2004356718A (ja) | 情報記録制御装置および情報記録制御方法、記録媒体、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5193944 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160208 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |