JP4088060B2 - 人物監視システム - Google Patents
人物監視システム Download PDFInfo
- Publication number
- JP4088060B2 JP4088060B2 JP2001335534A JP2001335534A JP4088060B2 JP 4088060 B2 JP4088060 B2 JP 4088060B2 JP 2001335534 A JP2001335534 A JP 2001335534A JP 2001335534 A JP2001335534 A JP 2001335534A JP 4088060 B2 JP4088060 B2 JP 4088060B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- area
- function
- extraction
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
この発明は、店舗、ATM設置施設やオフィス等において、侵入者を監視するための人物監視システムに関する。
【0002】
【従来の技術】
店舗、ATM設置施設やオフィスにおいて、侵入者を監視するといった分野では、画像伝送による方法、監視画像伝送による監視、監視画像のVTR記録、画像処理認識による監視、及びそれらを組合せた手法が使用されてきた。以下、これら手法について説明する。
監視画像伝送による監視は、監視環境にアナログITVカメラを設置し、一般に離れた場所にある監視センタまでアナログ画像を伝送し、センタに配備された監視員が常時監視画像をモニタするものである。
【0003】
この場合は一般に複数カメラからの画像を伝送し、監視員はそれら画像表示を意識的に、又は一定時間ごとに切替えて監視する。又画面の切替えの契機として、監視環境に設置された赤外線、超音波等の侵入センサからの侵入者検知信号を用いるものもある。又アナログ画像のままではなく、JpegやMpegによる圧縮データに変換してから伝送するものがある。
【0004】
監視画像のVTR記録は、監視環境にアナログITVカメラを設置し、離れた場所、又は監視環境からは見えない場所に設置したVTR装置に一定間隔ごとに画像を記録するものである。
画像処理認識による監視は、監視環境における画像の変化や画像中からの人物候補領域の検出によって通報やVTRの起動を行なうものである。
【0005】
【発明が解決しようとする課題】
上記したような従来技術には以下に示す問題点がある。
先ず監視画像伝送による監視での問題は、処理の仕組みは単純であるが、アナログ画像伝送を行なうために、専用伝送路の敷設、伝送による信号劣化の保障としてのブースタの設置などの付帯設備が必要となる。従ってこれら設備のためのコストが甚大であり、かつセンタにおいて監視員を常時配備しておく必要がある。
【0006】
一方、画像の圧縮データを伝送するシステムでは上記に比べてデータが少ない、伝送による信号劣化がない、などの理由からアナログ専用線ではなく一般のデジタル回線を用いることが可能であるが、侵入イベント以外の情報も多数伝送されるため、監視員の常時配備の問題は解消されない。
【0007】
監視画像のVTR記録での問題を述べると、このシステムは基本的には、緊急通報とは別に侵入者の映像を記録することで、後で状況推定や侵入者特定のために利用するものであるが、一定間隔ごとの記録では実際に侵入イベントとして重要な映像を記録できない場合がある。
【0008】
画像処理による監視での問題は、侵入者の検出率が妥当であるならば、このシステムで侵入時のみに伝送や蓄積の処理が必要であるため、データ伝送、蓄積のためのコストを全体的に低くすることが可能である。又イベント発生時のみについて、伝送、蓄積された画像を監視員が確認することで、常時配備の必要性が軽減される。
【0009】
しかしイベントを検出した後で、伝送又は蓄積された画像の性質が、監視員が確認するために良いものでは無い場合が多い。これは例えば、監視映像中の人物領域に顔などの特徴的な部分がない、画像が小さすぎる、圧縮の影響で画質が劣化している等があげられる。
従って本発明は、コストを低減し、見逃しのない人物監視が可能な人物監視システムの提供を目的とする。
【0010】
【課題を解決するための手段】
人物の写っているシーンの映像を伝送、蓄積、検索し、見え方が最適な映像を出力する人物監視システムは、撮像機能を内蔵した一つ、又は複数の人物抽出手段と、前記人物抽出手段から提供される画像を処理し、最適人物シーンを選択する機能を有する中間サーバ手段と、前記中間サーバ手段から提供される画像を処理し、検索のタグ付け等のより処理時間を要する高度な機能およびユーザインタフェースを提供するサーバ手段と、を具備している。
【0011】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。以下の説明では、本システムを用いて、ある監視領域において侵入者の監視を行なう装置について示す。
【0012】
先ず、この実施の形態の全体構成と処理の概要を説明する。本発明による人物監視システムの全体構成を図1に示す。このシステムは、人物抽出手段1、中間サーバ手段2、サーバ手段3とからなり、人物抽出手段1において入力動画像中から人物候補領域を抽出し、中間サーバ手段2においてそのうち見え方の最適なる画像を選択し、サーバ手段3において画像検索用のキーの生成やhttp(hyper text transfer protocol)でのユーザインタフェースを提供する。そして各手段1,2,3は有線、又は無線のディジタル通信によって接続される。
【0013】
したがって、一つ又は複数の人物抽出手段1によって検出された入力画像内の人物候補領域に対して、人物抽出手段1又は中間サーバ手段2において人物特徴のチェックと見え方が最適なフレームの選択、およびカメラ(これは人物抽出手段1に相当)入力の選択を行ない、サーバ手段3では、中間サーバ手段2から得られた最適な人物画像系列を一時的に蓄積し、その後、それら画像系列の伝送を行なう。
このとき、例えば検出人物系列について、その移動方向、色、動き方、参照人物画像との類似度などの画像検索用キーを作成しておき、ユーザからの要求にしたがって所望画像のみを伝送する処理も行なう。
【0014】
以上で、人物抽出手段1と中間サーバ2、中間サーバ手段2とサーバ手段3のそれぞれの間での伝送路の状態、および対象人物の侵入イベント数などに応じて適宜それぞれでの処理の分担範囲を変える。例えば人物抽出手段1においては人物候補領域の抽出と確認を行なうが、単位時間あたりのイベント数が多い場合には、人物候補の確認処理は比較的ラフなもののみを行ない、後述する顔等の特徴部分による確認のように処理コストの高いものは中間サーバ手段2に分担させる。
【0015】
以下に上記人物抽出手段1、中間サーバ手段2、サーバ手段3の各構成と処理の説明を行なう。
図2は人物抽出手段1の構成に示す図である。カラー、又はモノクロのテレビカメラとA/D変換器とからなる画像入力手段4により数フレームごとに入力されたディジタル画像データを一度人物検出画像蓄積手段5に格納し、これについて後述の様に、人物候補領域抽出手段6によって侵入人物の概略領域を検出し、その概略領域内部に人物としての特徴的な領域パターン(例えば顔、手、足等)が存在するかどうかを人物領域確認手段7によって確認し、人物候補領域画像と確認結果を人物候補通信手段8によってEther netやIEEE1394上にTcp/IPなどのプロトコルで中間サーバに伝送する。上記で入力画像がカラーであった場合には、その輝度成分のみを抽出して人物検出画像蓄積手段5に蓄積する。
【0016】
又、この人物抽出手段1では一定時間内での上述の対象人物領域の抽出数、すなわち検知頻度を人物抽出手段1内部の検知頻度計測手段9によって計測し、これがあらかじめ設定してある閾値以上であった場合には、本手段の処理に時間をかけるべきではないとして、一般的に処理コストのかかる人物領域確認手段7の処理は行なわず、後述の中間サーバに処理の分担を依頼する。
【0017】
以下に、この人物抽出手段1に特徴的な機能として、人物候補領域抽出手段6と人物領域確認手段7および人物候補通信手段8について述べる。
人物候補領域抽出手段6の処理としては、以下に示すようないくつかの方法のいずれかを使用することができる。
【0018】
例えば、連続するサンプリング画像(フレーム)について画素ごとの差分を行ない、ある一定閾値で2値化した領域を抽出し、4連結、又は8連結の意味で空間的に連結する領域について、その面積や外接矩形サイズが人物候補として妥当なものを検出する方法である。この処理の流れを図3のフローチャートに示す。この際の2値化の閾値は、差分画像の輝度ごとの頻度分布を解析し、その分散比を最大にする値として決定する手法を使うことができる(大津、判別および最小二乗基準に基づく自動しきい値選定法、信学論、Vol.J63−D,No.4,pp.349−356,1980参照)。ここで、上記連結領域の解析を行なう前に、抽出領域についての数回の膨張、収縮処理を行なって、ノイズによる過抽出や“かすれ”の影響を減少させても良い。この場合に抽出領域の第一次信頼度C1を例えば以下のように算出しておく。
【0019】
C1=(Vf,Vft)/(|Vf ||Vft|), …(1)
ただし、
なるベクトルで、W,Hはそれぞれ抽出領域の外接矩形の縦横サイズであり、Sは抽出領域面積である。又Twu,Twlは外接矩形の縦サイズの、Thu,Thlは外接矩形の横サイズの、Tsu,Tslは抽出面積のそれぞれ上限値と下限値を示す閾値であり、0≦ Cf ≦1となる。
【0020】
この信頼度算出用のベクトルV,Vt については、円形度Rを加えて以下のようにしてもよい。
R=(抽出領域の周囲長)/S,
ただしTr は人物としてのRの標準的値。
【0021】
又別手法として事後確率変換による手法を用いても良い(中井、事後確率を用いた移動物体検出手法、情処研報,94−CV−90,pp.1−8,1994参照)。
【0022】
この事後確率変換による手法の処理の流れを図4のフローチャートに示す。事象θ0を背景、事象θ1を侵入物とする。ある部分画像内の画素の輝度を観測する前のθ0、θ1の事前確率がそれぞれw0,w1であるとき(ただしw0+w1=1)、事後確率w1′は事象θkのもとでの画素輝度Iの条件付き確率をP(I|θk)とするときベイズの定理から
w1′={w1p(I|θ1)}
/{p(I|θ0)(1−w1)+p(I|θ1)w1}…(3)
となり、このw1′がある閾値Tより大なるものを侵入物に属する画素として抽出する。ここで、あらかじめ求めた背景のみの画像の頻度分布h(x,y,I)から、
p(I|θ0)={1/Σh(x,y,I)} xh(x,y,I) …(4)
I=Imin,...Imax
であり、p(I|θ1)は一般にデータサンプルが無いため、
p(I|θ0)=1/(Imax−Imin) …(5)
と推定する。又上記は入力画像が更新されるたびにw1=w1′と更新し、w1の初期値=1.0/2.0としてよい。
【0023】
人物候補領域を抽出するためには、入力画像内の各画素iについて(2)式のw′iをもとめw′i>Tなる画素で、8連結、又は4連結の意味で連結するもののうち、その面積や、外接矩形サイズが人物として妥当なものを選択すればよい。
この方法によると背景領域に定常的に変動があっても、統計的に変動を吸収できる利点がある。
【0024】
上記で非背景(すなわち対象物)であるための事後確率を画素ごとに求めているが、閾値との比較による抽出(2値化)の前に、確率分布を4近傍や8近傍について平滑化しても良い。これは対象物近傍についての確率場の連続性を仮定し、ノイズによる過抽出やかすれを減少させるためである。又さらなるノイズ除去のために上記2値化後に数回に渡って、膨張収縮処理を繰り返しても良い。
【0025】
この場合にも抽出領域の信頼度C1を(1)式に基づいて算出するが、前述の(2)式のV,Vtをここでは例えば以下のようにして算出しておく。
又は円形度も含めた場合には、
ここにPは抽出矩形内の事後確率の正規化総和であり、以下のように求められる。
【0026】
ただしTpは人物に対する上述のP値の標準値であり、Rectは抽出外接矩形領域を示す。
【0027】
次に図2に示した人物抽出手段1における人物領域確認手段7について説明する。人物領域確認手段7は、検知頻度計測手段9に前述した検知の頻度が設定閾値を超えているかどうかを問い合わせる。もし検知頻度が閾値Th以下であった場合には、様々な人物の体の部分の画像が複数収集され、その情報を統計的に圧縮した辞書を用いたパターンマッチングを適用して、上記のように抽出された人物候補領域内部の画素について、特徴的部分が存在するかどうかを検出する。この様子を図5に示す。
【0028】
このような方法として、ある一定サイズに正規化した複数の特徴部分画像をある基準で複数のクラスに分割しておき、それに基づいて正準判別する方法がある。この方法による処理の流れを図6のフローチャートに示す。先ず、以下のようなステップをとる。
【0029】
(i)複数クラスの正規化画像群に対する級内分散B、および級間分散Wの算出
(ii)(B+βSw )Φ={(1−β)W+βI}ΦΛなる固有値問題を解く
ただし0<β<1、
Φ:固有ベクトルΦiを列ベクトルとする固有ベクトル行列、
Λ:固有値λiを対角要素とする固有値行列、
である。
【0030】
(iii )各クラスタi内ベクトルを上述のΦに射影し、その平均MiとΦと場合によっては分散共分散Viを辞書とする。
(vi)マッチング時には画面内を小領域jに分割し、その小領域ごとの画像ベクトルを上記Φに射影したベクトルVjと各クラスiとのユークリッド距離やマハラノビス距離を求める。
【0031】
上記でクラス作成時に所望対象特徴画像以外に、非対象物クラスとして、それと類似する他の画像も使用すると所望領域以外の類似領域は抽出せず、所望領域のみを抽出しやすくなる。例えば、所望対象特徴画像として複数人物の正面向きの顔、非対象物クラスとして背景の顔類似パターンを用いるなどである。
【0032】
ここでは対象物クラスを、複数人物の顔領域の画像から作成することとし、それらを顔の向きに応じて数種類の別クラスに分割する。又非対象物クラスとして、背景中の顔類似パターンをあらかじめ人手でピックアップしておき、それらを用いる。
【0033】
そしてステップ(vi)のマッチング結果のうち距離が小なるものからN番目までで、対象物クラスに属するものの距離の総和が一定値Td以下だった場合人物領域とし確認されたものとする。この場合には第二次信頼度C2を例えば以下のように算出しておく。
【0034】
又以上の処理終了後に、上記人物候補領域抽出手段6について説明したように抽出された人物候補領域の外側で上述のマッチングを行い、その距離が小なるものからM番目までのものを非対象物クラスのデータとして保存する。
【0035】
次に図2に示した人物抽出手段1における人物候補通信手段8について説明する。前述したように検知頻度計測手段9によって、人物候補の検知頻度が一定間隔Thと比較された結果が中間サーバに伝送されると、中間サーバからはその結果に応じて以下のように人物抽出手段1での処理分担指示メッセージが送られるため、人物抽出手段1での処理はそれに従う。
【0036】
(i)検知頻度≧Thのとき
人物抽出手段1での処理は前述の人物候補領域抽出手段6の処理のみとなる。
(ii)検知頻度<Thのとき
人物抽出手段1での処理は人物候補領域抽出手段6かつ人物領域確認手段7の処理となる。
【0037】
ここで(i)の場合には、この人物候補通信手段8の出力結果は、例えば、上記人物候補領域抽出手段6が抽出した抽出領域(周囲の外接矩形)座標、抽出時刻、抽出領域の信頼度C1であり、(ii)の場合には、人物候補通信手段8の出力結果は、例えば、上記(i)の抽出領域(周囲の外接矩形)座標と時刻に加えて、抽出領域の信頼度Cを以下のように算出して伝送してもよい。
【0038】
C=min(C1,C2) …(8)
又(ii)の場合には、ステップ(vi)の結果から以下の情報を抽出して伝送する。これは最適シーンのカメラを選択するための情報で、人物候補領域内での上記マッチング結果領域のうち、距離小なるものからN番目までのマッチング距離、およびそれらの各々とマッチした辞書カテゴリ名、各々の画面内での位置、および人物候補領域外側で上述のマッチングを行い、その距離が小なるものからM番目までのものの非対象物クラスのデータとしてマッチング距離、およびそれらの各々とマッチした辞書カテゴリ名、各々の画面内での位置も伝送する。
【0039】
又さらに上述の伝送された対象抽出結果に応じて、中間サーバ手段2から送られる画像伝送メッセージにしたがって、後述のような所望の画像伝送動作を行う。
次に図1の中間サーバ手段2について説明する。図7は中間サーバ手段2の構成を示す図である。この中間サーバ手段2は人物抽出通信手段10、人物抽出補助手段11、最適撮像選択手段12、サーバ通信手段13および抽出人物画像蓄積手段14からなる。以下には、そのそれぞれの動作を示す。
【0040】
人物抽出通信手段10は、各人物抽出手段1での検知頻度に応じた人物抽出機能の負荷分担、および同じく人物抽出手段1よりの認識確信度と中間サーバ手段2の通信負荷とによる抽出画像伝送の制御を行い、その結果として人物抽出手段手段1から送られてくる人物抽出画像を受け取る。受信した人物抽出画像は抽出人物画像蓄積手段14に画面内での位置情報、信頼度、抽出時刻とともに保存される。
【0041】
この通信処理は例えば以下のような手順で実行される。この人物抽出通信手段10の処理の流れを図8のフローチャートに示す。
(i)人物抽出手段内部状態の取得と人物抽出方法の指示
各人物抽出手段1から内部状態として、一時保存画像数Nsと検知頻度Hが閾値Thを超えているかどうかを取得し、前記人物候補通信手段8の説明であった検知頻度に応じて、人物抽出手段1内の処理を人物候補領域抽出手段6のみの処理とするのか、人物領域確認手段7をも行わせるのかを指示する。このようにすることによって、人物候補の確認までを必要とするが、監視領域内への人物の侵入頻度の高い場所においても検知もれを防ぐことを可能とする。又、人物候補確認までを必要としないような環境においては、常に人物候補領域抽出手段6のみの処理とさせることも可能である。
【0042】
なお上記で人物領域確認手段7の処理をも中間サーバ手段2内部で行わせる場合には、前述の人物領域確認手段7で述べたように、保存されていた人物候補領域の外側でのマッチング結果(非対象物クラスデータ)の周囲座標も伝送する。
【0043】
(ii)認識確信度と通信負荷とに応じた画像伝送制御
次に各人物抽出手段1から上記人物候補通信手段8で示したように抽出領域、抽出時刻、抽出領域の信頼度Cklが送られるが、これと各人物抽出手段1での検知頻度Hk、通信トラフィックとから例えば以下のような方式にしたがって画像伝送の制御すなわち伝送画像領域Rkを求める。ただし、kは人物抽出手段番号、lは一つの人物抽出手段内での抽出領域番号で0≦l≦Lとする。
【0044】
ただし抽出領域をRklとし、Tkl>画面全体のときTkl=画面全体とする。又、Uは集合の和を示す。
【0045】
if SH≧Tk3 Rk =現抽出画像を伝送せずに一時保存,…(9″′)
ここにSHは通信トラフィックをあらわす量であり、例えば全人物抽出手段での検知頻度の総和を用いて以下のようにしてもよい。
SH=ΣHk, …(10)
k=0.k
又Cklは各抽出領域ごとの信頼度、Hkは各人物抽出手段の検知頻度、Kは各人物抽出手段のアクセス数である。
さらに、前記(i)での非対象クラスの画像を伝送する場合には、前述の検出結果の一時保存画像と同一の扱いとする。
【0046】
次に図7の人物抽出補助手段11について説明する。図9は人物抽出補助手段11の処理の流れを示すフローチャートである。人物抽出補助手段11は、前述した図2の人物候補通信手段8の説明で(i)検出頻度≧Thのときに、人物領域確認手段7とまったく同一の処理を行う。
又人物確認における非対象クラスに対する辞書更新用データ数の前回辞書更新以降での総和が伝送画像中から一定値(Ns×α)個以上収集できたときには、本発明による人物確認用の辞書の再構成を行う。
【0047】
ここにNs従来からの非対象サンプル数、α0〜1の間の定数であり、再構成用サンプルとしては、上述の新規サンプルNs×α個の他に従来サンプルの中からNs×(1−α)個をランダムに選択して前記(2)(b)人物領域確認手段7の(i)〜(iii )までの処理によって新規辞書を作成する。
【0048】
次に図7の最適撮像選択手段12について説明する。図10は本発明による最適撮像選択手段12の処理の流れを示すフローチャートである。
図2の人物候補通信手段8の説明中(ii)で述べたように、人物領域確認手段7のステップ(vi)のマッチング結果として人物候補領域内でのマッチング結果領域のうち、距離小なるものからN番目までのマッチング距離、およびそれらの各々とマッチした辞書カテゴリ名、各々の画面内での位置が最適撮像選択手段12に伝送されてくる。
【0049】
ここで最適性の定義として、上記マッチング結果のうち位置の分布がまとまっており、かつマッチング辞書カテゴリとして正面に近いものとの距離が小なるものとする。これを表現する特徴量F(最適人物撮像特徴量)としては、例えば以下のようなものを使用する。
【0050】
F=A/σx+B/σy+ΣCj×Di …(11)
i=1.N
ここにσは各マッチング結果領域の座標分布の標準偏差であり、Diはi番目にマッチング距離が小さかった分割ウィンドウと辞書との距離である。A,B,Cjは重み定数で、特にCjは上述のi番目ウィンドウがマッチした辞書jの顔の向きに応じた重みであり、正面に近いほど大きく設定する。
【0051】
そして、この中間サーバ手段2に接続されている複数(k=0〜K個)の人物抽出手段1からの人物抽出領域のうちで、互いに物理的な位置(実世界での座標)がオーバラップするような各領域を同一物体と対応付けし、それらについての上述F値のうちで最大の値Fkを有する人物抽出手段kからの映像を最適なものと選択する。ここで物理的な位置は、あらかじめ計測しておく撮像環境(人物抽出手段の撮像系の向き、俯角、ズーム)と人物抽出時に検出された人物候補領域の座標とから求める。
【0052】
なお、上記A,B,Cjの決定については、さまざまな手法が考えられるが、例えばあらかじめ複数のサンプル画像において最適なものを教示しておき、それらサンプルにおけるσx,σy,Diを用いて最適と教示されたもののF値が他のものより大きいと仮定して決定する。すなわち最適と教示されたものがサンプルk′としたとき、
Σ(Fk|k=k′−Fk|k≠k′) …(12)
全サンプル
を最大化するように学習を行なって、上記A,B,Cjを決定する。
図7のサーバ通信手段13は、最適撮像選択手段12において最適人物画像系列が準備された場合には、この系列画像をサーバに伝送する。
【0053】
最後に図1のサーバ手段3について説明する。サーバ手段3は上記サーバ通信手段13から送信されてくる最適画像系列を受け取り、httpプロトコルに準拠した形式に変換し伝送する。
このとき、上記系列内に冗長な画像が含まれており、かつ本サーバ手段3への通信トラフィック量が多い場合には、本発明によるサーバ手段3はそのうちのいずれかのみを残して、他は除去して伝送する。
【0054】
ここで上述の冗長性としては、連続する最適画像系列のフレーム同士での類似度の高いものという意味で例えば、2フレーム間の画像差分量の総和が一定閾値以下の場合や、2フレーム間での画像の相関値が別の一定閾値以上の場合など一般的なものを使用できる。
【0055】
ここで、サーバへの通信トラフィック量としては、本サーバに対するhttpアクセスでの一定時間内パケット数Phと中間サーバ2との画像、および抽出属性の伝送に用いられる一定時間内パケット数Pmとの総和として定義できる。 なお上記において、中間サーバ2から得られる最適画像系列には、位置や抽出時刻といった属性が含まれるが、本サーバ手段3内では、これに加えて、領域内での色空間での画素値の頻度分布、上記位置と抽出時刻から求められる平均移動ベクトルを計算して付与し検索用タグ情報とする。さらに上記最適人物画像系列中の顔領域について、図2の人物領域確認手段7の(vi)に述べた顔辞書との射影値ベクトルをも属性値として付与しておくことで、検索対象人物の画像が与えられると、その人物の顔を過去の監視画像中の最適系列画像から検索して提示することが可能となる。
【0056】
【発明の効果】
本発明によれば、各処理ごとの機能分担による応答性向上とコストの削減が図れる。即ち、人物監視に最も基本的機能でかつリアルタイム処理を要する人物抽出機能をテレビカメラ内蔵とし、それらテレビカメラからの抽出映像の最適性を評価する中間サーバ、および検索タグ付けなど処理時間は要するがリアルタイム性が必要でない処理を行なうサーバとに分担させ、それぞれの間はデジタル化され要約された情報を伝送することで、伝送、蓄積の応答性とコストの削減が可能となる。
【0057】
又本発明によれば、人物特徴部分検出による誤抽出可能性の低減と最適映像の検出が可能となる。即ち、人物抽出機能において、人物候補領域抽出を行なった後、その領域内に人物の特徴的部分(顔等)が写っているかどうかを評価するため、誤って人物の侵入以外のイベントを検出する頻度を低減させることが可能となる。又その際に抽出された人物特徴部分の画面内への出現の仕方を用いて、その画像フレームが後の監視員による確認に良いものなのかどうかを評価し、複数カメラの複数フレームから最適な画像系列を選択可能となる。
【0058】
更に本発明によれば、冗長映像の除去と負荷に応じた動的処理分担によるさらなる伝送、蓄積効率の向上が図られる。即ち、上記で選択された見え方として最適な画像のフレーム間での冗長性を評価して、冗長フレームを除去することで、伝送、蓄積量を低減させ、効率を向上することが可能である。又侵入者の検出頻度や、伝送負荷に応じて各処理階層(カメラ、中間サーバ、サーバ)での処理を自動的に再配置することによって監視システム全体としての伝送、蓄積効率を向上させることが可能となる。
【0059】
従って、従来よりコストを低減し、見逃しのない人物監視が本発明により可能となる。
【図面の簡単な説明】
【図1】図1は本発明の実施例に係る全体構成図。
【図2】図2は本発明の実施例に係る人物抽出手段の構成図。
【図3】図3は人物候補領域抽出手段の第1の方法を示すフローチャート。
【図4】図4は人物候補領域抽出手段の第2の方法を示すフローチャート。
【図5】図5は本発明による人物領域確認手段を説明するための図。
【図6】図6は本発明による人物領域確認手段での処理を示すフローチャート。
【図7】図7は本発明による中間サーバ手段の構成を示す図。
【図8】図8は本発明による中間サーバ手段における人物抽出通信手段の処理を示すフローチャート。
【図9】図9は本発明による中間サーバ手段における人物抽出補助手段の処理を示すフローチャート。
【図10】図10は本発明による中間サーバ手段における最適撮像選択手段の処理を示すフローチャート。
【符号の説明】
1…人物抽出手段、2…中間サーバ手段、3…サーバ手段
Claims (6)
- 人物の写っているシーンの映像を伝送、蓄積、検索し、人物候補領域内の分割領域のまとまり方と対象領域の正面向きへの近さとに基づいた見え方が最適な映像を出力する人物監視システムであって、
撮像機能を内蔵した一つ、又は複数の人物抽出手段と、
前記人物抽出手段から提供される画像を処理し、人物候補領域内の分割領域のまとまり方と、対象領域の正面向きへの近さとに基づいて最適人物シーンを選択する機能を有する中間サーバ手段と、
前記中間サーバ手段から提供される画像を処理し、検索のタグ付け機能およびユーザインタフェース機能を提供するサーバ手段とを具備し、
前記中間サーバ手段は、前記人物抽出手段および中間サーバでの処理負荷を計算する機能と、この計算の結果前記人物抽出手段での処理負荷が閾値を越えている場合には前記人物抽出手段の処理の一部を中間サーバ手段に分担させる機能とをさらに有する、
ことを特徴とする人物監視システム。 - 人物の写っているシーンの映像を伝送、蓄積、検索し、人物候補領域内の分割領域のまとまり方と対象領域の正面向きへの近さとに基づいた見え方が最適な映像を出力する人物監視システムであって、
撮像機能と、撮像画像内から人物候補領域を抽出する機能と、抽出された候補領域から人物領域を確認する機能とを有する、一つ又は複数の人物抽出手段と、
前記人物抽出手段から提供される人物領域画像から、人物候補領域内の分割領域のまとまり方と、対象領域の正面向きへの近さとに基づいて最適人物シーンを選択する機能と前記人物領域確認機能とを有する中間サーバ手段と、
前記中間サーバ手段から提供される画像を処理し、画像検索のタグ機能およびユーザインタフェース機能を提供するサーバ手段とを具備し、
前記中間サーバ手段は、前記人物抽出手段および中間サーバでの処理負荷を計算する機能と、この計算の結果前記人物抽出手段での処理負荷が閾値を越えている場合には前記人物抽出手段の処理の一部を中間サーバ手段に分担させる機能とをさらに有する、
ことを特徴とする人物監視システム。 - 前記人物抽出手段は、撮像画像内から人物候補領域を抽出する機能と、抽出された候補領域から人物領域を確認する機能とを有し、
前記人物領域確認機能は、画像の特徴部分および非特徴部分の類似パターンとの統計モデルとから特徴部分を抽出し、前記人物候補領域抽出機能が人物ではないと判定した部分に特徴部分に類似の部分があった場合、それらを非特徴部分パターンのモデルとして自動的に組み込み、判定精度を向上することを特徴とする請求項1記載の人物監視システム。 - 前記人物抽出手段は、撮像画像内から人物候補領域を抽出する機能と、抽出された候補領域から人物領域を確認する機能とを有し、
前記人物領域確認機能は、前記人物抽出手段が中間サーバに人物候補画像を伝送する際に、認識結果の信頼度を計算し、信頼度が高い場合は抽出領域のみを伝送し、信頼度が低い場合には、その信頼度に応じて抽出領域を周囲に広げ、抽出もれを減少させることを特徴とする請求項1記載の人物監視システム。 - 前記中間サーバ手段は、各モデルとの類似度、および抽出位置の分布を入力として、最適な撮像手段の出力系列を選択する機能をもつことを特徴とする請求項1記載の人物監視システム。
- 前記サーバ手段は、データ伝送中の通信トラフィック量を計測し、それに応じて前記選択された出力系列内の冗長性を減らす手段を具備することを特徴とする請求項1記載の人物監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001335534A JP4088060B2 (ja) | 2001-10-31 | 2001-10-31 | 人物監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001335534A JP4088060B2 (ja) | 2001-10-31 | 2001-10-31 | 人物監視システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP26484298A Division JP3612220B2 (ja) | 1998-09-18 | 1998-09-18 | 人物監視方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002204444A JP2002204444A (ja) | 2002-07-19 |
JP4088060B2 true JP4088060B2 (ja) | 2008-05-21 |
Family
ID=19150512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001335534A Expired - Lifetime JP4088060B2 (ja) | 2001-10-31 | 2001-10-31 | 人物監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4088060B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5170961B2 (ja) | 2006-02-01 | 2013-03-27 | ソニー株式会社 | 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体 |
KR100789721B1 (ko) | 2006-03-24 | 2008-01-02 | 주식회사 네이블텍 | 재해 방지 시스템 및 방법 |
WO2008108458A1 (ja) * | 2007-03-07 | 2008-09-12 | Omron Corporation | 顔画像取得システム、顔照合システム、顔画像取得方法、顔照合方法、顔画像取得プログラムおよび顔照合プログラム |
JP5942270B2 (ja) * | 2011-01-11 | 2016-06-29 | パナソニックIpマネジメント株式会社 | 撮影システム及びそれに用いるカメラ制御装置、撮影方法及びカメラ制御方法、並びにコンピュータプログラム |
JP6094903B2 (ja) * | 2012-04-18 | 2017-03-15 | パナソニックIpマネジメント株式会社 | 受信装置及び受信側画像処理方法 |
JP6082607B2 (ja) * | 2013-01-30 | 2017-02-15 | セコム株式会社 | 物体特徴抽出装置、物体領域抽出装置及び物体追跡装置 |
JP2018185552A (ja) * | 2017-04-24 | 2018-11-22 | 公益財団法人鉄道総合技術研究所 | 画像解析装置および画像解析方法、ならびにプログラム |
-
2001
- 2001-10-31 JP JP2001335534A patent/JP4088060B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002204444A (ja) | 2002-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10929680B2 (en) | Automatic extraction of secondary video streams | |
US10346688B2 (en) | Congestion-state-monitoring system | |
Wheeler et al. | Face recognition at a distance system for surveillance applications | |
JP4629090B2 (ja) | カメラ・タンパリング検出 | |
US7630561B2 (en) | Image processing | |
CN101095149B (zh) | 图像比较设备和图像比较方法 | |
US7778445B2 (en) | Method and system for the detection of removed objects in video images | |
KR102478335B1 (ko) | 채널별 객체 검출 최적화를 위한 영상분석 방법 및 서버장치 | |
CN111163259A (zh) | 一种图像抓拍方法、监控相机及监控*** | |
US20090041297A1 (en) | Human detection and tracking for security applications | |
TW201137767A (en) | Image processing apparatus and image processing method | |
KR20150112713A (ko) | 영상분석 서버를 통한 미래 발생범죄 예측 시스템 | |
JP3612220B2 (ja) | 人物監視方法 | |
JP4088060B2 (ja) | 人物監視システム | |
KR102111162B1 (ko) | 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법 | |
JP3504245B2 (ja) | 画像監視装置 | |
WO2023164370A1 (en) | Method and system for crowd counting | |
KR102614895B1 (ko) | 동적 카메라 영상 내의 객체를 실시간 추적하는 시스템 및 방법 | |
CN112686146A (zh) | 一种基于面部特征识别的客流分析方法、装置及*** | |
JP3502468B2 (ja) | 分散型監視装置 | |
JPH11328365A (ja) | 画像監視装置及びその方法 | |
Latecki et al. | Using spatiotemporal blocks to reduce the uncertainty in detecting and tracking moving objects in video | |
CN117058767B (zh) | 训练场监测方法、设备、存储介质及装置 | |
KR20230163773A (ko) | 3차원 영상 기반의 객체 재식별 장치 및 방법 | |
Kim et al. | Environment independent hybrid face recognition system using a fixed camera and a PTZ Camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080222 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 6 |
|
EXPY | Cancellation because of completion of term |