JP2013051477A - 映像監視装置、映像監視方法およびプログラム - Google Patents

映像監視装置、映像監視方法およびプログラム Download PDF

Info

Publication number
JP2013051477A
JP2013051477A JP2011187044A JP2011187044A JP2013051477A JP 2013051477 A JP2013051477 A JP 2013051477A JP 2011187044 A JP2011187044 A JP 2011187044A JP 2011187044 A JP2011187044 A JP 2011187044A JP 2013051477 A JP2013051477 A JP 2013051477A
Authority
JP
Japan
Prior art keywords
camera
recognition processing
recognition
image
video monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011187044A
Other languages
English (en)
Other versions
JP5525495B2 (ja
Inventor
Seiya Ito
誠也 伊藤
En Ri
媛 李
Katsuhiko Kawamori
克彦 河守
Tetsuo Nagano
哲夫 永野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2011187044A priority Critical patent/JP5525495B2/ja
Priority to CN2012102494793A priority patent/CN102970514A/zh
Priority to US13/570,678 priority patent/US20130050483A1/en
Publication of JP2013051477A publication Critical patent/JP2013051477A/ja
Application granted granted Critical
Publication of JP5525495B2 publication Critical patent/JP5525495B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】監視エリアを通過する移動体に対して画像認識処理を実行する際に、認識性能の低下を防ぐ。
【解決手段】映像監視装置10は、画像認識処理の対象となる認識処理領域の位置とカメラ設置位置とを取得し、前記認識処理領域の位置と前記カメラ設置位置との間の位置関係を算出し、その位置関係を示す前処理情報34を算出する前処理情報生成部23と、前記前処理情報34を参照して実測値と前記カメラ110によって撮影されたカメラ画像中の距離との比率に基づいて、画像認識処理に用いる認識パラメータ35(カメラ画像中の認識処理領域の座標)を算出する認識パラメータ演算部24と、前記認識パラメータ35を用いて認識処理領域を通過する監視対象に対して画像認識処理を実行する画像認識処理部25と、を備える。
【選択図】図1

Description

本発明は、監視エリアを通過する移動体に対して画像認識処理を実行して、移動体の監視を行う技術に関する。
近年、セキュリティに対する関心の高まりにともなって、入退室管理と映像監視とを連携させた映像監視システムが、ビルやオフィスに導入されてきている。映像監視システムは、監視エリアの増加にともなってネットワークカメラの台数が増加する傾向にあり、映像記録装置も大容量化されてきている。それに反して、映像監視システムを用いる監視員が、目視作業によって大容量の記録映像の中から特定のシーンを抽出することは非常に大きな負担となる。そのため、監視業務を支援する機能を備えた映像監視システムについての検討が進められている。
例えば、従来の目視作業の負担を軽減するために、カメラから取得した映像に画像認識処理を施すことによって監視エリアに現れる人や車両等の移動体を検出する機能を備え、移動体を検出したシーンのみを記録する機能、移動体を検出した際に表示装置に警告を表示したり、警報を鳴らしたりして監視員に注意を促す機能等を備えている映像監視システムが開発されている。例えば、画像認識によってドアを通過する人の顔を検出し、検出した顔の個数によって入退室する人数を推定する入退室管理装置が開示されている(特許文献1参照)。
特開2008−40828号公報
しかしながら、特許文献1に記載の技術は、カメラで顔を撮影するという条件を満足するために、カメラの設置位置と被写体との位置関係に応じて、認識性能が変動するという虞がある。例えば、顔を撮影する際に、頭上から見下ろす向きでカメラが設置されている場合には、顔の検出を行うことが困難になり、認識性能が低下する虞がある。また、カメラの設置場所に制約があって、認識性能が最も高くなるような位置にカメラを設置することができないことも想定される。
そこで、本発明では、監視エリアを通過する移動体に対して画像認識処理を実行する際に、認識性能の低下を防ぐ技術を提供することを課題とする。
前記課題を解決するために、映像監視装置は、画像認識処理を行う前処理として、画像認識処理の対象となる認識処理領域の位置とカメラの設置位置とを取得し、前記認識処理領域の位置と前記カメラの設置位置との間の位置関係を算出し、その位置関係を示す前処理情報を算出する手段と、前記前処理情報を参照して実測値と前記カメラによって撮影されたカメラ画像中の距離との比率に基づいて、画像認識処理に用いる認識パラメータを算出する手段と、前記認識パラメータを用いて認識処理領域を通過する移動体に対して画像認識処理を実行する手段と、を備える。
本発明によれば、監視エリアを通過する移動体に対して画像認識処理を実行する際に、認識性能の低下を防ぐことができる。
映像監視システムの構成例および映像監視装置の機能例を示す図である。 監視エリア情報の一例を示す図である。 レイアウト情報を表示した画面の一例を示す図である。 カメラ情報の一例を示す図である。 カメラの設置位置と認識処理領域との位置関係を説明する図である。 カメラ画像中の距離と実測値との関係を説明する図である。 2次元の認識処理領域をカメラ画像中に設定する一例を示す図である。 画像認識処理に用いる認識パラメータの変換例を示す図であり、(a)はテンプレートをカメラ位置に適合するように変換する場合を表し、(b)はカメラ画像をテンプレートの撮影方向に整合させるように変換する場合を表す。 3次元の認識処理領域をカメラ画像中に設定するためのレイアウト情報を表示した画面の一例を示す図である。 3次元の認識処理領域をカメラ画像中に設定する一例を示す図である。 変形例として、予め設定したカメラ設定位置を選択可能なレイアウト情報を表示した画面の一例を示す図である。
次に、発明を実施するための形態(以降、「実施形態」と称す。)について、適宜図面を参照しながら詳細に説明する。
本実施形態における映像監視システムの構成例および映像監視装置の機能例について、図1を用いて説明する。
映像監視システム1は、カメラ110、入力装置120、表示装置130および映像監視装置10によって構成される。なお、本実施形態では、映像監視装置10は、画像認識処理を用いて人や車両等の移動体の監視を行う機能を有するものとする。
カメラ110は、ズーム機能を有するカメラレンズユニット、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等の撮像素子を含む撮像装置である。また、カメラ110は、雲台(不図示)に設置され、チルト回転やパン回転が可能となっている。そして、カメラ110は、撮影した画像情報を映像監視装置10へ送信する機能を有する。なお、図1では、カメラ110は1台しか記載していないが、複数台であっても構わない。
入力装置120は、ポインティングデバイス(マウス等)、キーボード等であり、ユーザの操作によって、映像監視装置10に指示情報を入力する機能を有する。
表示装置130は、液晶表示装置、CRT(Cathode Ray Tube)表示装置、RGB(Red-Green-Blue)モニタ等であり、映像監視装置10の出力情報を表示する機能を有する。なお、図1では、表示装置130は1台しか記載していないが、複数台であっても構わない。
映像監視装置10は、処理部20と、記憶部30と、入出力IF(インタフェース)40とを備える。処理部20は、制御部21、レイアウト情報生成部22、前処理情報生成部23、認識パラメータ演算部24、および画像認識処理部25を機能として有する。処理部20は図示しないCPU(Central Processing Unit)およびメインメモリによって構成され、処理部20内の各部は記憶部30に記憶されているアプリケーションプログラムをメインメモリに展開して具現化される。
記憶部30は、監視エリア情報31、レイアウト情報32、カメラ情報33、前処理情報34、および認識パラメータ35を記憶している。なお、記憶部30に記憶されている各情報の詳細については、処理部20内の各部の説明の中で後記する。
また、入出力IF40は、カメラ110、入力装置120および表示装置130と映像監視装置10の処理部20との間で情報を送受信するためのインタフェースである。
制御部21は、レイアウト情報生成部22、前処理情報生成部23、認識パラメータ演算部24、および画像認識処理部25間の動作を統括して制御する機能や、入出力IF40を介してカメラ110、入力装置120および表示装置130と間で情報を送受信する機能、処理部20内の各部間や処理部20内の各部と記憶部30との間で情報を送受信する機能を有する。
レイアウト情報生成部22は、カメラ110を設置する場所の平面図や間取り図等のデータを含む監視エリア情報31を取得して、監視対象に適合する認識処理領域の設定に必要なレイアウト情報32を生成する。ここで、監視対象とは、画像認識処理の対象とする移動体の全体または一部を意味する。具体的には、移動体が人であれば、移動体の全体は人の全身を意味し、移動体の一部は体の一部(例えば、顔や頭部)を意味する。また、認識処理領域とは、監視対象を画像認識処理する際に、カメラ110によって撮影された画像情報(以降、カメラ画像と称する。)において、画像認識処理に用いる画像領域を意味する。なお、監視エリア情報31およびレイアウト情報32は、いずれも、記憶部30に記憶されている。
ここで、監視エリア情報31およびレイアウト情報32の具体例について、図2,3を用いて説明する。
監視エリア情報31は、図2に示すように、平面図(間取り図)であり、主要部の寸法の情報が記載されている。例えば、出入口は、高さ方向の実測値(単位はmm)も記入されている。なお、監視エリア情報31は、3次元CAD(computer aided design)データやCG(Computer Graphics)データであっても構わない。
レイアウト情報32は、図3に示すように、認識処理領域を設定するために必要な情報を、監視エリア情報31から抽出して生成される。本実施形態では、出入口301を通過する移動体を監視対象とした場合について以降説明するので、出入口301は、認識処理領域として網掛け表示される。なお、レイアウト情報32を生成する目的は、認識処理領域とカメラ110の設置位置との位置関係を求めることにあるので、認識処理領域(出入口301)のみを表示させても構わない。また、入退室管理を行う場合には、認識処理領域(出入口301)に対して、どちら側が屋外または屋内か(移動体の動く方向)は重要な情報となるので、レイアウト情報32に含めると良い。
図1に戻って、前処理情報生成部23は、レイアウト情報32とカメラ情報33とを用いて、前処理情報34を生成する。
カメラ情報33は、図4に示すように、カメラ設置位置の高さ、俯角、解像度、フレームレート、画角である。また、前処理情報34は、認識処理領域(出入口301)に対するカメラ110の設置位置を示す角度、水平距離、高さ、および認識処理領域の実測値である。なお、認識処理領域の実測値はレイアウト情報32から取得でき、また高さはカメラ情報33から取得できるので、以下には、前処理情報生成部23における処理として、前処理情報34のうち角度および水平距離を算出する方法について説明する。
まず、前処理情報生成部23は、図5に示すように、レイアウト情報生成部22において生成されたレイアウト情報32(図3参照)を表示装置130にレイアウト情報32aのように表示する。レイアウト情報32a上には、認識処理領域(出入口301)が表示されている。そして、前処理情報生成部23は、ユーザによって操作される入力装置120からカメラ110の設置位置の入力を受け付ける。具体的には、図5では、カーソル501によって指定された位置が、カメラ110の設定位置を示すカメラ設置位置502となる。
次に、前処理情報生成部23は、認識処理領域(出入口301)とカメラ設定位置502と間の距離rおよび角度θを、図5に示すレイアウト情報32a上の位置関係から算出する。具体的には、認識処理領域(出入口301)の幅の実測値が分かっているので、レイアウト情報32a上の認識処理領域(出入口301)の表示サイズとの比を比率として用いることにより、レイアウト情報32a上の色々な長さの実測値を容易に推定することができる。この手続きが、本実施形態における根幹部分であり、実測することなしに、容易に認識処理領域(出入口301)とカメラ設定位置502との位置関係を、レイアウト情報32a上の位置関係から取得することができる。なお、本実施形態では、実測値を大文字(例えば、距離R、高さH,Ho等)、レイアウト情報32上またはカメラ画像中での長さを小文字(例えば、距離r、高さh,ho等)で表し区別するものとする。
そして、カメラ設定位置502と認識処理領域(出入口301)の中心Gとの間の距離rを取得する方法について説明する。なお、カメラ110の向き(レンズの光軸方向)は、中心Gに向いているものとする。
図5のレイアウト情報32a上で距離を定義するために、例えば、レイアウト情報32aの左上を原点として水平方向にX軸、垂直方向にY軸を設定する。前処理情報生成部23は、レイアウト情報32aから、認識処理領域(出入口301)のx軸方向の実測値(W=3000mm)とレイアウト情報32a上での大きさw(例えば300画素)とを取得する。また、前処理情報生成部23は、レイアウト情報32aからΔx(例えば150画素)とΔy(例えば200画素)とを取得する。そして、実測値ΔXおよびΔY(単位はmm)は以下のようにして求められる。
w : Δy=300:200=W : ΔY=3000:ΔY
Δy:Δx=200:150=ΔY:ΔX
∴ΔY=2000(mm),ΔX=1500(mm)
上記の計算で取得したΔXとΔYとを用いて、カメラ設定位置502と認識処理領域(出入口301)の中心Gとの間の水平距離rおよび角度θが下記式(1)によって算出される。
R=(ΔX+ΔY1/2
θ=arccos(ΔX/R) ・・・式(1)
このような手続きにより、前処理情報生成部23は、式(1)により算出した水平距離Rおよび角度θと、出入口301の高さHと、認識処理領域の実測値とを、前処理情報34として記憶部30に記憶する。
次に、図1に戻って、認識パラメータ演算部24は、前処理情報34を参照しつつ、認識パラメータ35を生成し、記憶部30に記憶する。認識パラメータ35は、具体的には、画像認識処理を実行する際に用いる、カメラ画像中の認識処理領域の座標、カメラ画像中の監視対象の移動方向、およびテンプレート(学習アルゴリズムによって取得したモデル情報を含む)の変換情報(変換式または変換表)のことである。以下に、カメラ画像中の認識処理領域の座標、カメラ画像中の監視対象の移動方向、およびテンプレートの変換情報の算出方法について、それぞれ説明する。
まず、カメラ画像中の距離と実測値との関係について、図6を用いて説明する。次に、図7では、実測値とカメラ画像中での距離との関係に基づいて、カメラ画像中で認識処理領域を設定する方法について説明する。カメラ画像中の距離と実測値との関係が必要な理由は、一般的に、カメラ画像中の認識処理領域のサイズは、実空間における実測値に基づいて決められるためである。例えば、監視対象を人の顔とした場合には、人の顔が位置するエリアを人の身長の実測値の分布に基づいて決定し、そのエリアに対応するカメラ画像中の領域を認識処理領域として決定することになる。また、このように認識処理領域を絞ることによって、カメラ画像全体に亘って画像認識処理を実行する場合に比べて、演算処理量を低減することができ、映像監視装置10としてメリットがある。
図6には、カメラ110によって撮影され、表示装置130に表示されたカメラ画像(撮影画像)が示されている。そのカメラ画像には、図5の出入口301が、出入口601として表示される。
認識パラメータ演算部24は、入力装置120によって操作されるカーソル501を用いて指定(例えば、マウスの場合にはクリック操作)された、出入口601を示すエリアの中に領域602の頂点を表す4点(p1〜p4)の位置を受け付けて、その指定された位置(点p1〜点p4)の座標を取得する。なお、点p1および点p2は、出入口601の上端に指定され、点p3および点p4は、出入口601の下端に指定される。ここで得られる点p1〜点p4の座標の値は、カメラ画像の左上を原点とし、水平方向にX軸、垂直方向にY軸を定義した画像座標系の座標値としても良い。なお、図6では、領域602を分かりやすくするために網掛けを付して表示しているが、実際の表示装置130の画面では網掛けを表示しなくとも良い。
ここで、領域602のサイズは、図5のレイアウト情報32aの認識処理領域(出入口301)の幅wがカメラ画像中では出入口601の幅で表されることを利用して求まる。つまり、カメラ画像中の幅uの実測値は、幅uの長さと出入口601の幅の長さとの比率に、図5のレイアウト情報32aの認識処理領域(出入口301)の幅wの実測値を乗算して算出することができる。また、カメラ画像中の高さhの実測値は、図5の出入口301の高さHの実測値となる。
次に、人の頭部を監視対象とする場合における、認識処理領域の設定例について、図7を用いて説明する。
図7では、4点p1〜p4で囲まれた領域602は、図6に示したものと同じである。つまり、領域602の高さhおよび幅uの実測値は、既知となっている。そこで、実際の人の身長から頭部の高さを求めて、高さHoを決定する。なお、図7に示すカメラ画像中では、人の頭部の高さHoと出入口301の高さHとの比に基づいて、カメラ画像中に高さhoの位置を設定することができる。そして、人の頭部が通過すると考えられる高さ方向の領域は、高さのマージンHm(カメラ画像中ではhm)を、点q1〜点q4のように設定することにより設定できる。
さらに、幅方向については、カメラ画像中での幅uとその実測値との比率に基づいて、実際の幅のマージンUmからカメラ画像中の幅のマージンumを求めることができる。そして、認識パラメータ演算部24は、人の頭部を監視対象としたときの認識処理領域701(網掛け表示)を設定することができる。このような手続きにより、認識パラメータ演算部24は、カメラ画像中の認識処理領域701の座標(頂点の座標でも良い。)を算出することができる。
次に、カメラ画像中の監視対象の移動方向について、図5および図7を用いて説明する。カメラ画像中の監視対象の移動方向は、例えば、移動体の数をカウントする場合において、移動体が出入口を通過して入って来たのか、出て行ったのかを判定するために必要である。また、カメラ画像中の監視対象の移動方向は、人の入退室管理を行う場合には、人が入室したのか退室したのかを判定するために必要である。
図5のレイアウト情報32aでは、監視対象が出入口301から屋内に入ってくる方向に矢印503を表示している。ただし、矢印503は、出入口301に対して垂直方向であるものとする。この矢印503を図7に示すカメラ画像中に表示すると、認識処理領域701に対して垂直方向に矢印702が求められる。定性的に説明すると、図5に示す角度θが0度に近づくに従って、図7の矢印702はカメラ画像中で水平方向となり、角度θが90度に近づくに従って、矢印702はカメラ画像中で垂直方向となる。そして、認識パラメータ演算部24は、カメラ画像中の監視対象の移動方向を算出することができる。なお、算出された移動方向(矢印702)は、人の入退室管理を行う場合、画像認識処理部25において様々な動き(移動方向)が検出された際に、入退室の判定に用いるべき動きなのか、ノイズとして扱うべき(判定に用いない)動きなのかを選別するための指標としても利用できる。
ここで、カメラ画像中の監視対象の移動方向(矢印702)の利用方法について説明する。図5のレイアウト情報32aのケースには、画像認識処理において監視対象の動きを検出したとき、矢印702に対して直角方向未満の範囲の動きであれば、屋内に入る行動と判定し、矢印702に対して直角方向より大きい範囲の動きであれば、屋外に出る行動と判定することができる。
次に、テンプレートの変換情報の算出について、図8を用いて説明する。図8(a)はテンプレートをカメラ位置に適合するように変換する場合を表し、図8(b)はカメラ画像をテンプレートの撮影向きに整合させるように変換する場合を表している。
例えば、図8(a)では、正面から撮影されたテンプレート801が用意されている場合、図5に示すレイアウト情報32aのケースでは、カメラ画像の監視対象はカメラ設置位置502の高さおよび角度θの位置から撮影されてしまうために、テンプレートのパターンとは異なってしまう。そのため、認識パラメータ演算部24は、カメラ設置位置502の高さおよび角度θの位置から撮影したように、テンプレートを変換する処理を実行し、変換後のテンプレート802を生成する。なお、変換情報は、カメラ設置位置502の高さおよび角度θに基づいて決定される。そして、画像認識処理部25が、変換後のテンプレート802を用いて、画像認識処理を実行することにより、認識性能の低下を防ぐことができる。
また、図8(b)では、カメラ画像中に映っている監視対象は、画像情報811のように、カメラ設置位置502の高さおよび角度θの位置から撮影されている。そこで、正面から撮影されたテンプレート801が用意されている場合、認識パラメータ演算部24は、画像情報811を、正面から撮影した状態に変換する処理を実行し、変換後の画像情報812を生成する。なお、変換情報は、カメラ設置位置502の高さおよび角度θに基づいて決定される。そして、画像認識処理部25が、変換後の画像情報812を用いて、画像認識処理を実行することにより、認識性能の低下を防ぐことができる。
次に、3次元の認識処理領域をカメラ画像中に設定する場合について、図9,10を用いて説明する。
図9は、出入口301の周辺に認識処理領域901(網掛け表示)を指定したレイアウト情報32bの一例を示している。なお、このレイアウト情報32bは、レイアウト情報生成部22によって生成される。また、認識処理領域901(網掛け表示)は、レイアウト情報生成部22が、カーソル501により指定された監視エリア901の頂点の入力を受け付けることによって設定される。そして、レイアウト情報32bの認識処理領域901(網掛け表示)の座標は、前処理情報生成部23によって、前処理情報34に記憶される。
次に、認識パラメータ演算部24は、まず、認識処理領域901を、図10に示すカメラ画像中に、認識処理領域901a(一点鎖線)として設定する。認識処理領域901aのサイズは、図9に示すレイアウト情報32bに示される認識処理領域901の縦横比に基づいて設定される。また、認識処理領域901aの幅に対する奥行き方向は、点p1〜p4によって形成される平面に垂直方向と並行になるようにして決められる。
そして、認識パラメータ演算部24は、図7において2次元の認識処理領域701を設定したときと同様に、認識処理領域901aの頂点に対して、高さ方向を設定することにより、3次元の認識処理領域1001(網掛け表示)を設定することができる。
図1に戻って、画像認識処理部25は、記憶部30に記憶されている認識パラメータ35を参照して、図7の認識処理領域701(網掛け表示)や図10の認識処理領域1001(網掛け表示)を通過する監視対象に対して画像認識処理を実行し、処理結果を表示装置130に出力する。なお、画像認識処理は、公知技術(江島、「頭部検出システムHeadFinderを用いた人物追跡」、電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 100(442), 15-22, 2000-11-09)を用いることができる。
(変形例)
本実施形態ではカメラ設定位置502を任意の場所に設定する場合について説明したのに対して、変形例として、予め選択可能なカメラ設定位置502を複数用意しておき、そのカメラ設定位置502ごとに、認識パラメータを事前に算出して、カメラ設定位置502と認識パラメータとを関連付けて記憶部30に記憶しておくケースについて説明する。
図11は、予め決めておいたカメラ設定位置502(A〜I)と認識処理領域(出入口301)とを表示したレイアウト情報32cの一例を示している。図11において、制御部21は、カメラ設定位置(A〜I)のいずれか一つを、入力装置120からカーソル501を用いて選択した入力を受け付ける。そして、画像認識処理部25は、入力を受け付けたカメラ設定位置502(A〜I)に対応する認識パラメータ35を記憶部30から取得して、画像認識処理を実行する。このような構成とすることにより、認識パラメータ35を生成するための内部演算を省略できるので、画像認識処理を開始するまでの認識パラメータ35を生成するための時間を短縮することが可能となる。
以上、本実施形態における映像監視装置10は、画像認識処理の対象となる認識処理領域301の位置とカメラ設置位置502とを取得し、前記認識処理領域301の位置と前記カメラ設置位置502との間の位置関係を算出し、その位置関係を示す前処理情報34を算出する前処理情報生成部23と、前記前処理情報34を参照して実測値と前記カメラ110によって撮影されたカメラ画像中の距離との比率に基づいて、画像認識処理に用いる認識パラメータ35(カメラ画像中の認識処理領域701の座標)を算出する認識パラメータ演算部24と、前記認識パラメータ35を用いて認識処理領域701を通過する監視対象に対して画像認識処理を実行する画像認識処理部25と、を備える。
なお、本実施形態では、レイアウト情報生成部22によって監視エリア情報31からレイアウト情報32を生成するように記載したが、その目的を達成するために、ユーザが手動でレイアウト情報32を直接作成しても構わない。
また、図6では、領域602の頂点を4点で指定したが、指定する位置は4点に限られることはなく、3点以上によって領域を表現しても構わない。
1 映像監視システム
10 映像監視装置
20 処理部
21 制御部(第4の手段)
22 レイアウト情報生成部
23 前処理情報生成部(第1の手段)
24 認識パラメータ演算部(第2の手段)
25 画像認識処理部(第3の手段)
30 記憶部
31 監視エリア情報
32,32a,32b,32c レイアウト情報
33 カメラ情報
34 前処理情報
35 認識パラメータ
40 入出力IF
110 カメラ
120 入力装置
130 表示装置
301 出入口(レイアウト情報の出入口)
501 カーソル
502 カメラ設定位置
601 出入口(カメラ画像中の出入口)
701,901,1001 認識処理領域
702 矢印(カメラ画像中の監視対象の移動方向)
801 テンプレート
802 変換後のテンプレート
811 画像情報
812 変換後の画像情報

Claims (10)

  1. 監視エリアを通過する移動体を撮影するカメラから撮影画像を取得して、当該取得した撮影画像に対して画像認識処理を実行して、前記移動体の監視を行う映像監視装置であって、
    2次元空間において定義された平面において、前記撮影画像中の前記移動体に対して画像認識処理を実行する領域を示す認識処理領域の位置と前記移動体を撮影するカメラの設置位置とを取得し、前記認識処理領域の位置と前記カメラの設置位置との位置関係を算出する第1の手段と、
    前記位置関係に基づいて、前記画像認識処理に用いる前記撮影画像中の認識処理領域の位置を認識パラメータとして算出する第2の手段と
    前記認識パラメータを用いて画像認識処理を実行する第3の手段と
    を備えることを特徴とする映像監視装置。
  2. 前記第1の手段は、前記位置関係として、前記平面において、前記認識処理領域内の所定の位置を通る基準線と、当該所定の位置と前記平面上にない前記カメラの設置位置から前記平面に降ろした垂線の足を示す点とを通る線とによって作られる角度を算出する
    ことを特徴とする請求項1に記載の映像監視装置。
  3. 前記第2の手段は、前記撮影画像中の認識処理領域の頂点の位置は、実空間中の認識処理領域の実測値と前記撮影画像中の距離との比率を用いて、前記実測値に基づいて設定する
    ことを特徴とする請求項1または請求項2に記載の映像監視装置。
  4. 前記第2の手段は、さらに、前記認識パラメータとして、前記位置関係に基づいて、前記画像認識処理に用いるテンプレートと前記撮像画像とが同じ方向から撮影された状態となるように変換する変換情報を算出する
    ことを特徴とする請求項1ないし請求項3のいずれか一項に記載の映像監視装置。
  5. 前記第2の手段は、さらに、前記認識パラメータとして、前記撮影画像中の認識処理領域に対して垂直となる方向を算出し、
    前記第3の手段は、画像認識処理による前記移動体の動きの方向と前記方向とを比較して、前記移動体の動きを判定する
    ことを特徴とする請求項1ないし請求項4のいずれか一項に記載の映像監視装置。
  6. 前記第1の手段は、ユーザの操作する入力装置から、前記カメラの設置位置として、前記平面からの垂直高と、前記平面に対するカメラの俯角と、前記平面と並行方向のカメラの向きとを取得する
    ことを特徴とする請求項2に記載の映像監視装置。
  7. 前記映像監視装置は、さらに
    複数の前記カメラの設置位置について、予めそのカメラの設置位置と前記認識パラメータとを関連付けて記憶している記憶部と、
    ユーザの操作する入力装置から前記複数のカメラの設置位置の中からいずれか1つを選択する入力を受け付ける第4の手段と、
    を備え、
    前記第3の手段は、前記第4の手段が受け付けた前記カメラの設置位置に関連付けられた前記認識パラメータを前記記憶部から取得して、当該認識パラメータを用いて画像認識処理を実行する
    ことを特徴とする請求項1に記載の映像監視装置。
  8. 監視エリアを通過する移動体を撮影するカメラから撮影画像を取得して、当該取得した撮影画像に対して画像認識処理を実行して、前記移動体の監視を行う映像監視装置の映像監視方法であって、
    前記映像監視装置は、
    2次元空間において定義された平面において、前記撮影画像中の前記移動体に対して画像認識処理を実行する領域を示す認識処理領域の位置と前記移動体を撮影するカメラの設置位置とを取得し、前記認識処理領域の位置と前記カメラの設置位置との位置関係を算出する第1のステップと、
    前記位置関係に基づいて、前記画像認識処理に用いる前記撮影画像中の認識処理領域の位置を認識パラメータとして算出する第2のステップと
    前記認識パラメータを用いて画像認識処理を実行する第3のステップと
    を実行することを特徴とする映像監視方法。
  9. 前記映像監視装置は、さらに
    複数の前記カメラの設置位置について、予めそのカメラの設置位置と前記認識パラメータとを関連付けて記憶している記憶部と、
    ユーザの操作する入力装置から前記複数のカメラの設置位置の中からいずれか1つを選択する入力を受け付ける第4の手段と、
    を備え、
    前記第3のステップにおいて、前記第4の手段が受け付けた前記カメラの設置位置に関連付けられた前記認識パラメータを前記記憶部から取得して、当該認識パラメータを用いて画像認識処理を実行する
    ことを特徴とする請求項8に記載の映像監視方法。
  10. 請求項8または請求項9に記載の映像監視方法を、コンピュータである前記映像監視装置に実行させるためのプログラム。
JP2011187044A 2011-08-30 2011-08-30 映像監視装置、映像監視方法およびプログラム Active JP5525495B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011187044A JP5525495B2 (ja) 2011-08-30 2011-08-30 映像監視装置、映像監視方法およびプログラム
CN2012102494793A CN102970514A (zh) 2011-08-30 2012-07-18 映像监视装置、映像监视方法以及程序
US13/570,678 US20130050483A1 (en) 2011-08-30 2012-08-09 Apparatus, method, and program for video surveillance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011187044A JP5525495B2 (ja) 2011-08-30 2011-08-30 映像監視装置、映像監視方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2013051477A true JP2013051477A (ja) 2013-03-14
JP5525495B2 JP5525495B2 (ja) 2014-06-18

Family

ID=47743172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011187044A Active JP5525495B2 (ja) 2011-08-30 2011-08-30 映像監視装置、映像監視方法およびプログラム

Country Status (3)

Country Link
US (1) US20130050483A1 (ja)
JP (1) JP5525495B2 (ja)
CN (1) CN102970514A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013289A (ja) * 2018-07-17 2020-01-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2021186576A1 (ja) 2020-03-17 2021-09-23 日本電気株式会社 ゲートシステム、ゲート装置、その画像処理方法、およびプログラム、ならびに、ゲート装置の配置方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050518A1 (ja) * 2012-09-28 2014-04-03 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN105284108B (zh) * 2013-06-14 2019-04-02 株式会社日立制作所 影像监视***、监视装置
US9767228B2 (en) 2014-01-22 2017-09-19 Honeywell International Inc. Determining a deployment of an access control system
CN104850215B (zh) * 2014-02-18 2018-11-09 联想(北京)有限公司 信息处理方法、***及电子设备
US10373412B2 (en) * 2016-02-03 2019-08-06 Sensormatic Electronics, LLC System and method for controlling access to an access point
DE102017211038A1 (de) * 2017-06-29 2019-01-03 Robert Bosch Gmbh Verfahren zum Einstellen einer Kamera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001045467A (ja) * 1999-07-29 2001-02-16 Canon Inc 画像処理装置及び画像処理方法及び記憶媒体
JP2006074260A (ja) * 2004-08-31 2006-03-16 Sumitomo Electric Ind Ltd 駐車場におけるカメラ設置条件の自動決定方法
JP2006177086A (ja) * 2004-12-24 2006-07-06 Matsushita Electric Ind Co Ltd 入退室管理装置
JP2009210331A (ja) * 2008-03-03 2009-09-17 Toa Corp カメラキャリブレーション装置およびカメラキャリブレーション方法
JP2009253745A (ja) * 2008-04-08 2009-10-29 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128291A1 (en) * 2002-04-17 2005-06-16 Yoshishige Murakami Video surveillance system
JP2005031045A (ja) * 2003-07-11 2005-02-03 Olympus Corp 情報呈示装置及び情報呈示システム
US7623731B2 (en) * 2005-06-20 2009-11-24 Honda Motor Co., Ltd. Direct method for modeling non-rigid motion with thin plate spline transformation
JP4976756B2 (ja) * 2006-06-23 2012-07-18 キヤノン株式会社 情報処理方法および装置
KR101187909B1 (ko) * 2007-10-04 2012-10-05 삼성테크윈 주식회사 감시 카메라 시스템
CN100565555C (zh) * 2007-12-05 2009-12-02 浙江工业大学 基于计算机视觉的违章停车检测装置
CN100568262C (zh) * 2007-12-29 2009-12-09 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001045467A (ja) * 1999-07-29 2001-02-16 Canon Inc 画像処理装置及び画像処理方法及び記憶媒体
JP2006074260A (ja) * 2004-08-31 2006-03-16 Sumitomo Electric Ind Ltd 駐車場におけるカメラ設置条件の自動決定方法
JP2006177086A (ja) * 2004-12-24 2006-07-06 Matsushita Electric Ind Co Ltd 入退室管理装置
JP2009210331A (ja) * 2008-03-03 2009-09-17 Toa Corp カメラキャリブレーション装置およびカメラキャリブレーション方法
JP2009253745A (ja) * 2008-04-08 2009-10-29 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013289A (ja) * 2018-07-17 2020-01-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7140583B2 (ja) 2018-07-17 2022-09-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2021186576A1 (ja) 2020-03-17 2021-09-23 日本電気株式会社 ゲートシステム、ゲート装置、その画像処理方法、およびプログラム、ならびに、ゲート装置の配置方法

Also Published As

Publication number Publication date
US20130050483A1 (en) 2013-02-28
JP5525495B2 (ja) 2014-06-18
CN102970514A (zh) 2013-03-13

Similar Documents

Publication Publication Date Title
JP5525495B2 (ja) 映像監視装置、映像監視方法およびプログラム
CN107836012B (zh) 投影图像生成方法及其装置、图像像素与深度值之间的映射方法
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
US7356425B2 (en) Method and system for camera autocalibration
US9460337B2 (en) Information processor and information processing method
JP5117418B2 (ja) 情報処理装置及び情報処理方法
JP2014236896A (ja) 情報処理装置、情報処理方法、及び、プログラム
GB2436904A (en) Image surveillance/retrieval system
JP6174968B2 (ja) 撮像シミュレーション装置
JP2016170610A (ja) 三次元モデル処理装置およびカメラ校正システム
WO2014182898A1 (en) User interface for effective video surveillance
EP2476999A1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
JP2012238293A (ja) 入力装置
KR101330531B1 (ko) 3차원 카메라를 이용한 가상 터치 방법 및 장치
CN107862713A (zh) 针对轮询会场的摄像机偏转实时检测预警方法及模块
JP2007243509A (ja) 画像処理装置
JP2023041931A (ja) 評価装置、評価方法、及びプログラム
JP4628911B2 (ja) 身長測定装置
JP6991045B2 (ja) 画像処理装置、画像処理装置の制御方法
WO2011096571A1 (ja) 入力装置
US20220180592A1 (en) Collaborative Augmented Reality Measurement Systems and Methods
JP2019219804A (ja) 物体検出装置及び物体検出方法
JP2022123391A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6548683B2 (ja) 対象物画像推定装置および対象物画像判定装置
US20190080179A1 (en) Monitoring system and terminal device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140411

R150 Certificate of patent or registration of utility model

Ref document number: 5525495

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350