JP2019096179A - 行動監視システム - Google Patents
行動監視システム Download PDFInfo
- Publication number
- JP2019096179A JP2019096179A JP2017226573A JP2017226573A JP2019096179A JP 2019096179 A JP2019096179 A JP 2019096179A JP 2017226573 A JP2017226573 A JP 2017226573A JP 2017226573 A JP2017226573 A JP 2017226573A JP 2019096179 A JP2019096179 A JP 2019096179A
- Authority
- JP
- Japan
- Prior art keywords
- image
- behavior
- person
- neural network
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
Abstract
Description
本発明は、行動監視システムに於いて、
監視対象とする監視領域を撮像する撮像部と、
監視領域内の人物を特定し、前記特定した人物の異常行動を判定して出力する行動判定部と、
が設けられ、
行動判定部は、監視領域内に通常存在する人物の許可行動を示す画像により学習された多層式のニューラルネットワークによって構成されたことを特徴とする。
行動監視システムは、更に、行動判定部で異常行動が判定された人物を特定して人物特定情報を出力する人物特定部を備える。
行動判定部の多層式のニューラルネットワークは、特徴抽出部と認識部で構成され、
特徴抽出部は、入力した人物の画像から人物に応じた特徴量を抽出して出力する畳み込みニューラルネットワークで構成され、
認識部は、畳み込みニューラルネットワークから出力される特徴量を入力して許可行動の人物か否かを推定する複数の全結合層を備えた全結合ニューラルネットワークで構成される。
行動判定部には、
監視領域内に通常存在する人物の許可行動を示す画像が予め記憶された学習情報記憶部と、
学習情報記憶部に記憶されている画像を読み出して教師ありの学習画像として畳み込みニューラルネットワークに入力した場合に全結合ニューラルネットワークから出力される推定値と所定の期待値との誤差に基づくバックプロパゲーションにより全結合ニューラルネットワーク及び畳み込みニューラルネットワークを学習させる学習制御部と、
が設けられる。
行動判定部の多層式のニューラルネットワークは、画像解析部と行動認識部で構成され、
画像解析部は、
入力した人物の画像から人物に応じた特徴量を抽出して所定の中間層から出力する畳み込みニューラルネットワークと、
畳み込みニューラルネットワークから出力された特徴量を入力し、監視領域の画像の画像説明文を生成して出力する再帰型ニューラルネットワークと、
により構成され、
行動認識部は、
所定の異常行動を示す単語が登録された辞書と、
画像解析部から出力された画像説明文を構成する単語を、辞書に登録された単語と比較して人物の異常行動を判定する判定器と、
により構成される。
画像解析部は、人物の画像から人物を特定して人物特定情報を出力し、
所定の異常行動を示す単語は監視領域内に通常存在する人物に応じて登録されており、
判定器は画像説明文を構成する単語と、人物特定情報の人物における異常行動を示す単語を比較して人物の異常行動を判定する。
行動判定部には、
監視領域内に通常存在する人物の許可行動を示す画像と、画像の概要を示す所定の画像説明文とのペアが予め記憶された学習情報記憶部と、
学習情報記憶部に記憶されている画像を読出して教師なしの学習画像として畳み込みニューラルネットワークに入力してバックプロパゲーションにより学習させ、当該学習の済んだ畳み込みニューラルネットワークに学習画像を入力して出力された特徴量と学習画像のペアとなる画像説明文を再帰型ニューラルネットワークに教師なしの学習情報として入力してバックプロパゲーションにより学習させる学習制御部と、
が設けられる。
更に、
施設内の監視領域に入室する利用者を識別し、利用者識別情報が予め登録した利用者識別情報と一致した場合に出入口の扉に設けられた電気錠を解錠する制御を行う入退室管理設備と、
入退室管理設備で利用者を識別した際に入室する利用者を撮像する入室撮像部と、
が設けられ、
人物特定部は、入退室管理設備による電気錠を解錠する制御に連動して、入室撮像部により撮像された利用者画像を記憶し、利用者画像と行動判定部で異常行動が判定された人物の画像と照合して一致した利用者の利用者情報を人物特定情報として出力する。
更に、撮像部で撮像された監視領域の動画を録画する録画装置が設けられ、
行動判定部は、人物の異常行動を判定した場合に、所定の外部装置に異常警報信号を送信して報知させると共に、異常行動を判定した時点を含む前後所定時間の撮像部で撮像された監視領域の動画を録画装置から再生して表示させる。
行動判定部は、撮像部により撮像された監視領域の画像の中に監視対象とする備品が配置された1又は複数の監視区画を設定し、監視区画の画像を切り出して行動判定部に入力することにより監視区画毎に人物の異常行動を判定して出力する。
行動判定部は、所定の周期毎に、監視区画の画像を入力して人物の異常行動を判定して出力する。
行動判定部は、監視区画の画像を所定サイズの画像に正規化して入力する。
本発明は、行動監視システムに於いて、監視対象とする監視領域を撮像する撮像部と、監視領域内の人物を特定し、前記特定した人物の異常行動を判定して出力する行動判定部と、行動判定部で異常行動が判定された人物を特定して人物特定情報を出力する人物特定部とが設けられ、行動判定部は、監視領域内に通常存在する人物の許可行動を示す画像により学習された多層式のニューラルネットワークによって構成されたため、多階層のニューラルネットワークの出力により、学習済みの備品を扱う許可された利用者の画像と一部の特徴は一致するが一部の特徴が一致しない場合や、全ての特徴が一致しない場合、許可された利用者による備品の扱いではないことを示す異常行動が判定され、第三者の不正行為による異常行動を監視することができる。
また、行動監視システムは、更に、行動判定部で異常行動が判定された人物を特定して人物特定情報を出力する人物特定部を備えたため、異常行動が判定された人物がだれであるかが特定でき、異常行動が判定された人物に対し迅速且つ適切な対応が可能となる。
また、行動判定部の多層式のニューラルネットワークは、特徴抽出部と認識部で構成され、特徴抽出部は、入力した人物の画像から人物に応じた特徴量を抽出して出力する畳み込みニューラルネットワークで構成され、認識部は、畳み込みニューラルネットワークから出力される特徴量を入力して許可行動の人物か否かを推定する複数の全結合層を備えた全結合ニューラルネットワークで構成されたため、畳み込みニューラルネットワークにより備品を扱っている利用者画像の特徴が自動的に抽出されることで、利用者画像となる入力情報から前処理により人物の特徴、例えば、顔における目、口、耳等の稜線等を抽出するような前処理を必要とすることなく備品を扱う利用者画像の特徴が抽出され、引き続いて行う認識部により学習済みの許可行動の人物とは異なる第三者が備品を扱っている異常行動を高い精度で推定可能とする。
また、行動判定部には、監視領域内に通常存在する人物の許可行動を示す画像が予め記憶された学習情報記憶部と、学習情報記憶部に記憶されている画像を読み出して教師ありの学習画像として畳み込みニューラルネットワークに入力した場合に全結合ニューラルネットワークから出力される推定値と所定の期待値との誤差に基づくバックプロパゲーションにより全結合ニューラルネットワーク及び畳み込みニューラルネットワークを学習させる学習制御部とが設けられたため、例えばシステムの運用を開始する前の段階で、オフィスルームの勤務時間帯を対象に、監視カメラにより撮像した監視画像の中から監視対象として設定した1又は複数の監視区画の画像を例えば1分周期で切出して学習画像として記憶し、これを1ケ月程度繰り返すことで多層式ニューラルネットワークの学習に必要な十分の量の学習画像が得られ、監視区画の画像を多層式のニューラルネットワークに入力して学習させることで、システムの運用を開始した場合に、学習済みの多層式のニューラルネットワークによる監視区画における第三者の異常行動を精度良く判定することができる。
また、行動判定部の多層式のニューラルネットワークは、画像解析部と行動認識部で構成され、画像解析部は、入力した人物の画像から人物に応じた特徴量を抽出して所定の中間層から出力する畳み込みニューラルネットワークと、畳み込みニューラルネットワークから出力された特徴量を入力し、監視領域の画像の画像説明文を生成して出力する再帰型ニューラルネットワークとにより構成され、行動認識部は、所定の異常行動を示す単語が登録された辞書と、画像解析部から出力された画像説明文を構成する単語を、辞書に登録された単語と比較して人物の異常行動を判定する判定器と、
により構成されたため、監視カメラにより撮像された監視領域、例えば1又は複数の監視区画の画像を解析することで、監視区画に存在する備品と備品を扱う利用者の特徴が抽出されて画像説明文が生成され、生成された画像説明文から抽出された単語を辞書の第三者の異常行動を示す所定の単語と比較して一致又は類似した場合に監視区画における第三者の異常行動と判定して報知することができる。
また、画像解析部は、人物の画像から人物を特定して人物特定情報を出力し、所定の異常行動を示す単語は監視領域内に通常存在する人物に応じて登録されており、判定器は画像説明文を構成する単語と、人物特定情報の人物における異常行動を示す単語を比較して人物の異常行動を判定するようにしたため、特定された人物に許可されている行動か否か監視可能となり、許可された以外の行動、例えば、使用権限のないPCの操作や持ち出し禁止のファイルの持ち出し等の異常行動を判定して警報することができる。
また、行動判定部には、監視領域内に通常存在する人物の許可行動を示す画像と、画像の概要を示す所定の画像説明文とのペアが予め記憶された学習情報記憶部と、学習情報記憶部に記憶されている画像を読出して教師なしの学習画像として畳み込みニューラルネットワークに入力してバックプロパゲーションにより学習させ、当該学習の済んだ畳み込みニューラルネットワークに学習画像を入力して出力された特徴量と学習画像のペアとなる画像説明文を再帰型ニューラルネットワークに教師なしの学習情報として入力してバックプロパゲーションにより学習させる学習制御部とが設けられたため、多層式ニューラルネットワークの機能構成1の学習制御1の効果と同様、システム運用開始前の学習画像とその画像説明文の記憶及びシステム運用中の学習画像とその説明文の記憶による学習情報を使用した多層式ニューラルネットワークの学習により、第三者の異常行動と精度良く判定して報知することができる。
更に、施設内の監視領域に入室する利用者を識別し、利用者識別情報が予め登録した利用者識別情報と一致した場合に出入口の扉に設けられた電気錠を解錠する制御を行う入退室管理設備と、入退室管理設備で利用者を識別した際に入室する利用者を撮像する入室撮像部とが設けられ、人物特定部は、入退室管理設備による電気錠を解錠する制御に連動して、入室撮像部により撮像された利用者画像を記憶し、利用者画像と行動判定部で異常行動が判定された人物の画像と照合して一致した利用者の利用者情報を人物特定情報として出力するようにしたため、異常行動が判定された人物が、入退室管理設備によりICカード等の読取りによる電気錠の解錠で入室して入室撮像部により撮像されている利用者であることが特定されて、その人物の入退室管理情報が異常行動が判定された人物の人物特定情報となることで、異常行動が判定された人物が社員のだれであるか又は来訪者のだれであるかが特定でき、異常行動が判定された人物に対し迅速且つ適切な対応が可能となる。
更に、撮像部で撮像された監視領域の動画を録画する録画装置が設けられ、行動判定部は、人物の異常行動を判定した場合に、所定の外部装置に警報信号を送信して報知させると共に、異常行動を判定した時点を含む前後所定時間の撮像部で撮像された監視領域の動画を録画装置から再生して表示させるようにしたため、第三者の異常行動を判定した場合に、例えば所定の管理装置や監視対象としている備品の扱いが許可された利用者の端末に警報信号を送って警報表示させる人物の異常行動を知しらせ、その根拠となった動画再生により状況を確認して必要な対処を可能とする。
また、行動判定部は、撮像部により撮像された監視領域の画像の中に監視対象とする備品が配置された1又は複数の監視区画を設定し、監視区画の画像を切り出して多階層のニューラルネットワークに入力することにより監視区画毎に人物の異常行動を判定して出力するようにしたため、例えばオフィスルーム等のように多数の利用者が情報端末機器やファイルを使用して業務を遂行している場合、監視カメラで撮像している監視画面に映っている利用者の席及びに備品が映っている場所に例えば矩形の監視区画を必要に応じて複数設定することで、監視区域毎に人物の異常行動をマルチ的に監視することができる。
また、行動判定部は、所定の周期毎に、監視区画の画像を多層式のニューラルネットワークに入力して人物の異常行動を判定して出力するようにしたため、監視カメラにより撮像された動画の中から行動監視を見逃すことのない例えば1〜2分といった所定周期毎にフレーム画像を読み込んで多層式ニューラルネットワークに入力することにより、多層式ニューラルネットワークの処理負担を軽減した行動監視を可能とする。
また、行動判定部は、監視区画の画像を所定サイズの画像に正規化して多層式のニューラルネットワークに入力するようにしたため、監視カメラから監視区画までの距離により監視区画の画像サイズが異なるが、切出した監視区画の画像が同じ縦横サイズに正規化されることで、多層式のニューラルネットワークに入力した場合の判定精度を高めることができる。
(システムの概要)
図1は行動監視システムの概略を入退室管理設備と共に示した説明図である。図1に示すように、ビル等の施設のオフィスルーム12には撮像部として機能する監視カメラ14が設置され、複数の利用者が在室しているオフィスルーム12内を監視カメラ14により動画撮像している。
本実施形態の行動監視システムが設置された施設には、入退室管理設備が併せて設けられている。入退室管理設備として、図1に示すように、在室者の監視対象となるオフィスルーム12の出入口には扉30が設けられており、扉30には電気錠28が設けられ、また扉30の近傍にはカードリーダ26が配置されている。
図2は監視対象となるオフィスレイアウトの一例を示した説明図、図3は監視画像に対する監視区画の設定を示した説明図である。
図4は、図1の行動監視装置の第1実施形態を機能構成により示したブロック図である。
行動判定部16の多層式ニューラルネットワーク46は、学習制御部18による監視区画に設定された備品の画像及び備品使用権限をもつ利用者が備品を扱う画像により学習されている。
図5は図4に示した多層式ニューラルネットワークの機能構成を示した説明図であり、図5(A)に概略を示し、図5(B)に詳細を模式的に示している。
図5(B)は特徴抽出部58を構成する畳み込みニューラルネットワークの構造を模式的に示している。
図4に示す学習制御部18の制御部52は、システムの運用開始前に、例えばオフィスルーム12の勤務時間帯に監視カメラ14により撮像された監視領域の動画の中から監視対象として設定した1又は複数の監視区画のフレーム画像を例えば1分周期で1又は複数切出して学習画像として学習画像記憶部54に記憶する。このような学習画像の記憶を例えば1ケ月程度繰り返すことで多層式ニューラルネットワーク46の学習に必要な十分の量の学習画像が収集される。
図4に示した学習制御部18による多層式ニューラルネットワーク46の学習は次のようにして行われる。
(1) 入力値xをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値y*を求める。
(2) 推定値y*と期待値yに基づき誤差関数で誤差を計算する。
(3) ウェイトとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。
図6は図4の行動判定部による行動判定制御を示したフローチャートである。図6に示すように、行動判定部16はステップS1で監視カメラ14により撮像された監視領域の画像に対し、例えば図3に示したように、監視区画を設定する。
図7は図4の学習制御部による在室者学習制御を示したフローチャートである。図7に示すように、学習制御部18の制御部52は、ステップS21でクライアント装置24の在室管理情報から監視区域に対する備品使用権限をもつ利用者が在室か否か判別し、在室を判別するとステップS22に進んで監視領域に配置されている利用者端末のLAN回線21への接続の有無を判別し、接続ありを判別すると利用者端末の使用開始を認識してステップS23に進む。このようなステップS21,S22の処理により、制御部52は、監視領域の備品使用権限のある利用者が出勤して業務を開始する始業時の行動を検出している。
図8は図1の行動監視装置の第2実施形態を機能構成により示したブロック図である。
図8に示すように、行動判定部16の画像切出部44は監視カメラ14で撮像されたオフィスルーム12などの監視画像を所定周期毎に読み込んで保持し、保持した監視画像に設定された1又は複数の監視区画の画像を切り出して画像サイズを正規化した後に画像解析部74に出力する。
行動判定部16の画像解析部74に設けられた折り畳みニューラルネットワーク78と再帰型ニューラルネットワーク80は、学習制御部18の学習データセット記憶部100に予め記憶された学習画像とその行動説明文のペアからなる多数の学習データセットを使用して制御部52により学習されている。
図9は図8の画像解析部に設けられた畳み込みニューラルネットワークと再帰型ニューラルネットワークの機能構成を示した説明図である。
図9に示すように、畳み込みニューラルネットワーク78は入力層85、複数の中間層86で構成されている。通常の畳み込みニューラルネットワークは最後の中間層86の後に、入力層、複数の中間層及び出力層を全結合して画像の特徴量から出力を推定する図5に示したように全結合ニューラルネットワークを設けているが、本実施形態は、入力画像の特徴量を抽出するだけで良いことから、後段の全結合ニューラルネットワークは設けていない。
図9に示す再帰型ニューラルネットワーク80は、畳み込みニューラルネットワーク78を用いて抽出した画像の特徴量を、単語ベクトルと共に入力して行動説明文を予測する。
再帰型ニューラルネットワーク80の学習対象は、ベクトル変換部92とLSTM隠れ層88であり、畳み込みニューラルネットワーク78からの特徴量の抽出には、学習済みのパラメータ(ウェイトとバイアス)をそのまま使用する。
(1) 画像Iを畳み込みニューラルネットワーク78に入力し、特定の中間層86の出力を特徴ベクトルとして取り出す。
(2) 特徴ベクトルをLSTM隠れ層88に入力する。
(3) 単語列Stをt=0からt=N−1まで順に入力し、それぞれのステップで確率pt+1を得る。
(4) 単語St+1を出力する確率pt+1(St+1)から求まるコストを最小化する。
学習済みの畳み込みニューラルネットワーク78と再帰型ニューラルネットワーク80を使用して入力画像の行動説明文を生成する場合には、畳み込みニューラルネットワーク78に監視区画から切り出した画像を入力して生成した特徴量のベクトルを再帰型ニューラルネットワーク80に入力し、単語の出現確率の積が高い順に単語列を並べて行動説明文を生成させる。この手順は次のようになる。
(2) 特徴ベクトルをLSTM入力層87からLSTM隠れ層88に入力する。
(3) 文の開始記号<S>を、ベクトル変換部92を使用してベクトルに変換し、LSTM隠れ層88に入力する。
(4) LSTM隠れ層88の出力から単語の出現確率が分かるので、上位M個(例えばM=20個)の単語を選ぶ。
(5) 1つ前のステップで出力した単語を、ベクトル変換部92を使用してベクトルに変換し、LSTM隠れ層88に入力する。
(6) LSTM隠れ層88の出力から、これまでに出力した単語の確率の積を求め、上位M個の単語列を選択する。
(7) 前記(5)と前記(6)の処理を、単語の出力が終端記号になるまで繰り返す。
図10は図8の行動判定部による行動判定制御を示したフローチャートである。図10に示すように、行動判定部16はステップS31で監視カメラ14により撮像された監視領域の画像に対し、例えば図3に示したように、監視区画を設定する。
図11は図8の学習制御部による在室者学習制御を示したフローチャートである。図11に示すように、学習制御部18の制御部52は、ステップS51でクライアント装置24の在室管理情報から監視区画に対し備品使用権限をもつ利用者(許可利用者)の在室を判別するとステップS52に進み、監視区画に配置されている利用者端末のLAN回線21への接続の有無を判別し、接続ありを判別すると利用者端末の使用開始を認識してステップS53に進む。このようなステップS51,S52の処理により制御部52は、備品使用権限のある利用者が出勤して業務を開始する始業時の行動を検出している。
(在室者に応じた異常判定)
上記の第2実施形態では、異常判定した人物を人物特定部17で人物特定するようにしていたが、実施形態はこれに限らない。人物を特定したのち、当該人物に許可された行動かどうかを判定するようにしても良い。領域に通常存在する人物ごと、及び領域に通常存在しない人物について、異常と判定する行動となる異常行動判定単語に関する行動辞書を作成する。運用時、画像解析部または利用者画像と監視画像を比較により人物を特定する。画像解析部によって出力される人物の行動が、特定された人物における異常と判定する行動であるかどうかを判定する。これにより、その人物に許可されている行動か監視可能となる。例えば、通常の在室者ならPCの操作は問題ないが、通常の在室者でない場合は機密漏えいの可能性があるため警報を発する。部長は持ちだし可能だが社員持ち出し禁止のファイルを、社員が持ちだそうとする場合、警報を発する。
上記の実施形態に示した在室監視装置は、行動判定部の多階層ニューラルネットワークを学習する学習制御部を備えた場合を例にとっているが、多階層ニューラルネットワークの学習は、学習機能を備えた別のコンピュータ設備を使用して行い、その結果得られた学習済みの多階層ニュートラルネットワークを行動判定部に実装して使用するようにしても良い。
上記の実施形態は、畳み込みニューラルネットワークに画像を入力して通常在室している利用者の特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワーク又は再帰型ニューラルネットワークに入力して通常在室している利用者か否かや画像説明文を推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。
上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層式ニューラルネットワークの学習方法はこれに限らない。
上記の実施形態は、入退室管理設備で管理している在室管理情報を利用して行動判定部の動作と休止を制御しているが、これに限定されず、監視対象とする部屋に設置された人感センサにより在室の有無を判別して行動判定部の動作と休止を制御するようにしても良い。
上記の実施形態は、監視区画における備品使用権限をもつ利用者の利用者端末の使用開始を検出した場合に、所定時間のあいだ監視区画の画像を切り出して学習情報として記憶させているが、これに限定されず、監視領域のセキュリティ−担当者等の利用者端末を使用した人為的な操作により、平日の就業時間帯に監視区画の画像を切り出して学習情報として記憶させるようにしても良い。
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。
12:オフィスルーム
14:監視カメラ
16:行動判定部
17:人物特定部
18:学習制御部
20:録画装置
21:LAN回線
22:入退室管理制御装置
23:センター装置
24:クライアント装置
25:入室カメラ
26:カードリーダ
28:電気錠
30:扉
32:利用者端末
34−1〜34−12:監視区画
36:監視画像
44,50:画像切出部
46:多層式ニューラルネットワーク
48:時系列判定部
52:制御部
54:学習画像記憶部
55:操作部
56:表示部
58:特徴抽出部
60:認識部
62:入力画像
63,65a,65b:ウェイトフィルタ
64a,64b,64c:特徴マップ
66,85:入力層
68:結合層
70,86:中間層
72:出力層
74:画像解析部
76:行動認識部
78:畳み込みニューラルネットワーク
80:再帰型ニューラルネットワーク
82:判定器
84:シソーラス辞書
87:LSTM入力層
88:LSTM隠れ層
90:単語レジスタ
92:単語ベクトル変換部
94:確率変換部
96: コスト算出部
100:学習データセット記憶部
Claims (12)
- 監視対象とする監視領域を撮像する撮像部と、
前記監視領域内の人物の異常行動を判定して出力する行動判定部と、
が設けられ、
前記行動判定部は、前記監視領域内に通常存在する人物の許可行動を示す画像により学習された多層式のニューラルネットワークによって構成されることを特徴とする行動監視システム。
- 請求項1記載の行動監視システムに於いて、
前記行動監視システムは更に行動判定部で異常行動が判定された人物を特定して人物特定情報を出力する人物特定部を備えることを特徴とする行動監視システム。
- 請求項1記載の行動監視システムに於いて、
前記行動判定部の多層式のニューラルネットワークは、特徴抽出部と認識部で構成され、
前記特徴抽出部は、入力した前記人物の画像から前記人物に応じた特徴量を抽出して出力する畳み込みニューラルネットワークで構成され、
前記認識部は、前記畳み込みニューラルネットワークから出力される前記特徴量を入力して前記許可行動の人物か否かを推定する複数の全結合層を備えた全結合ニューラルネットワークで構成されたことを特徴とする行動監視システム。
- 請求項3記載の行動監視システムに於いて、
前記行動判定部は、
前記監視領域内に通常存在する人物の許可行動を示す画像が予め記憶された学習情報記憶部と、
前記学習情報記憶部に記憶されている前記画像を読み出して教師ありの学習画像として前記畳み込みニューラルネットワークに入力した場合に前記全結合ニューラルネットワークから出力される推定値と所定の期待値との誤差に基づくバックプロパゲーションにより前記全結合ニューラルネットワーク及び前記畳み込みニューラルネットワークを学習させる学習制御部と、
が設けられたことを特徴とする行動監視システム。
- 請求項1記載の行動監視システムに於いて、
前記行動判定部の多層式のニューラルネットワークは、画像解析部と行動認識部で構成され、
前記画像解析部は、
入力した前記人物の画像から前記人物に応じた特徴量を抽出して所定の中間層から出力する畳み込みニューラルネットワークと、
前記畳み込みニューラルネットワークから出力された前記特徴量を入力し、前記監視領域の画像の画像説明文を生成して出力する再帰型ニューラルネットワークと、
により構成され、
前記行動認識部は、
所定の異常行動を示す単語が登録された辞書と、
前記画像解析部から出力された前記画像説明文を構成する単語を、前記辞書に登録された単語と比較して前記人物の異常行動を判定する判定器と、
により構成されたことを特徴とする行動監視システム。
- 請求項5記載の行動監視システムに於いて、
前記画像解析部は、前記人物の画像から人物を特定して人物特定情報を出力し、
前記所定の異常行動を示す単語は監視領域内に通常存在する人物に応じて登録されており、
前記判定器は前記画像説明文を構成する単語と、前記人物特定情報の人物における異常行動を示す単語を比較して前記人物の異常行動を判定することを特徴とする行動監視システム。
- 請求項5記載の行動監視システムに於いて、
前記行動判定部は、
前記監視領域内に通常存在する人物の許可行動を示す画像と、前記画像の概要を示す所定の画像説明文とのペアが予め記憶された学習情報記憶部と、
前記学習情報記憶部に記憶されている前記画像を読出して教師なしの学習画像として前記畳み込みニューラルネットワークに入力してバックプロパゲーションにより学習させ、当該学習の済んだ前記畳み込みニューラルネットワークに前記学習画像を入力して出力された特徴量と前記学習画像のペアとなる前記画像説明文を前記再帰型ニューラルネットワークに教師なしの学習情報として入力してバックプロパゲーションにより学習させる学習制御部と、
が設けられたことを特徴とする行動監視システム。
- 請求項2記載の行動監視システムに於いて、更に、
前記施設内の監視領域に入室する利用者を識別し、利用者識別情報が予め登録した利用者識別情報と一致した場合に出入口の扉に設けられた電気錠を解錠する制御を行う入退室管理設備と、
前記入退室管理設備で利用者を識別した際に入室する利用者を撮像する入室撮像部と、
が設けられ、
前記人物特定部は、前記入退室管理設備による前記電気錠を解錠する制御に連動して、前記入室撮像部により撮像された利用者画像を記憶し、前記利用者画像と前記行動判定部で異常行動が判定された前記人物の画像と照合して一致した前記利用者の利用者情報を前記人物特定情報として出力することを特徴とする在室者監視システム。
- 請求項1記載の行動監視システムに於いて、
更に、前記撮像部で撮像された前記監視領域の動画を録画する録画装置が設けられ、
前記行動判定部は、前記人物の異常行動を判定した場合に、所定の外部装置に異常警報信号を送信して報知させると共に、前記異常行動を判定した時点を含む前後所定時間の前記撮像部で撮像された監視領域の動画を録画装置から再生して表示させることを特徴とする行動監視システム。
- 請求項1記載の行動監視システムに於いて、前記行動判定部は、前記撮像部により撮像された前記監視領域の画像の中に前記監視対象とする備品が配置された1又は複数の監視区画を設定し、前記監視区画の画像を切り出して前記行動判定部に入力することにより前記監視区画毎に前記人物の異常行動を判定して出力することを特徴とする行動監視システム。
- 請求項1記載の行動監視システムに於いて、前記行動判定部は、所定の周期毎に、前記監視区画の画像を入力して前記人物の異常行動を判定して出力することを特徴とする行動監視システム。
- 請求項1記載の行動監視システムに於いて、前記行動判定部は、前記監視区画の画像を所定サイズの画像に正規化して入力することを特徴とする行動監視システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017226573A JP7108395B2 (ja) | 2017-11-27 | 2017-11-27 | 行動監視システム |
JP2022113631A JP2022169507A (ja) | 2017-11-27 | 2022-07-15 | 行動監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017226573A JP7108395B2 (ja) | 2017-11-27 | 2017-11-27 | 行動監視システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022113631A Division JP2022169507A (ja) | 2017-11-27 | 2022-07-15 | 行動監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019096179A true JP2019096179A (ja) | 2019-06-20 |
JP7108395B2 JP7108395B2 (ja) | 2022-07-28 |
Family
ID=66973012
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017226573A Active JP7108395B2 (ja) | 2017-11-27 | 2017-11-27 | 行動監視システム |
JP2022113631A Pending JP2022169507A (ja) | 2017-11-27 | 2022-07-15 | 行動監視システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022113631A Pending JP2022169507A (ja) | 2017-11-27 | 2022-07-15 | 行動監視システム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7108395B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110351521A (zh) * | 2019-07-11 | 2019-10-18 | 中国工商银行股份有限公司 | 监控方法、监控装置、电子设备和介质 |
JP2021039592A (ja) * | 2019-09-04 | 2021-03-11 | 株式会社東芝 | センサシステム、画像センサ、およびセンシング方法 |
WO2021117346A1 (ja) * | 2019-12-11 | 2021-06-17 | Eneos株式会社 | セルフ給油管理システム |
US11245543B2 (en) * | 2018-06-15 | 2022-02-08 | Microsoft Technology Licensing, Llc | Identifying abnormal usage of electronic device |
JP2022540070A (ja) * | 2019-07-01 | 2022-09-14 | エバーシーン リミテッド | 画像内のオブジェクトによって実行されるアクションを決定するためのシステムおよび方法 |
JP7474399B1 (ja) | 2023-08-31 | 2024-04-25 | 雲南電網有限責任公司徳宏供電局 | インクリメンタル時空間学習に基づく異常行動認識監視方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102255791B1 (ko) * | 2020-08-20 | 2021-05-25 | (주)루선트엔지니어링 | 콜로이드입자 제거를 위한 폐수 처리 설비 및 이를 갖는 폐수 처리 시스템 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004056473A (ja) * | 2002-07-19 | 2004-02-19 | Matsushita Electric Ind Co Ltd | 監視制御装置 |
JP2007312271A (ja) * | 2006-05-22 | 2007-11-29 | Nec Corp | 監視システム |
JP2009205594A (ja) * | 2008-02-29 | 2009-09-10 | Sogo Keibi Hosho Co Ltd | 警備装置および不審者判定方法 |
JP2009284167A (ja) * | 2008-05-21 | 2009-12-03 | Toshiba Tec Corp | 人物行動監視装置及び人物行動監視プログラム |
JP2011186973A (ja) * | 2010-03-11 | 2011-09-22 | Secom Co Ltd | 画像監視装置 |
JP2015187770A (ja) * | 2014-03-26 | 2015-10-29 | キヤノン株式会社 | 画像認識装置、画像認識方法及びプログラム |
JP2017138808A (ja) * | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3334807B2 (ja) * | 1991-07-25 | 2002-10-15 | 株式会社日立製作所 | ニュ−ラルネットを利用したパタ−ン分類方法および装置 |
JP4668684B2 (ja) * | 2005-05-20 | 2011-04-13 | 住友大阪セメント株式会社 | 監視装置及びソフトウエアプログラム |
JP6074553B1 (ja) * | 2015-04-21 | 2017-02-01 | パナソニックIpマネジメント株式会社 | 情報処理システム、情報処理方法、およびプログラム |
-
2017
- 2017-11-27 JP JP2017226573A patent/JP7108395B2/ja active Active
-
2022
- 2022-07-15 JP JP2022113631A patent/JP2022169507A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004056473A (ja) * | 2002-07-19 | 2004-02-19 | Matsushita Electric Ind Co Ltd | 監視制御装置 |
JP2007312271A (ja) * | 2006-05-22 | 2007-11-29 | Nec Corp | 監視システム |
JP2009205594A (ja) * | 2008-02-29 | 2009-09-10 | Sogo Keibi Hosho Co Ltd | 警備装置および不審者判定方法 |
JP2009284167A (ja) * | 2008-05-21 | 2009-12-03 | Toshiba Tec Corp | 人物行動監視装置及び人物行動監視プログラム |
JP2011186973A (ja) * | 2010-03-11 | 2011-09-22 | Secom Co Ltd | 画像監視装置 |
JP2015187770A (ja) * | 2014-03-26 | 2015-10-29 | キヤノン株式会社 | 画像認識装置、画像認識方法及びプログラム |
JP2017138808A (ja) * | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11245543B2 (en) * | 2018-06-15 | 2022-02-08 | Microsoft Technology Licensing, Llc | Identifying abnormal usage of electronic device |
JP2022540070A (ja) * | 2019-07-01 | 2022-09-14 | エバーシーン リミテッド | 画像内のオブジェクトによって実行されるアクションを決定するためのシステムおよび方法 |
JP7351941B2 (ja) | 2019-07-01 | 2023-09-27 | エバーシーン リミテッド | 画像内のオブジェクトによって実行されるアクションを決定するためのシステムおよび方法 |
CN110351521A (zh) * | 2019-07-11 | 2019-10-18 | 中国工商银行股份有限公司 | 监控方法、监控装置、电子设备和介质 |
JP2021039592A (ja) * | 2019-09-04 | 2021-03-11 | 株式会社東芝 | センサシステム、画像センサ、およびセンシング方法 |
JP7353875B2 (ja) | 2019-09-04 | 2023-10-02 | 株式会社東芝 | センサシステム、およびセンシング方法 |
WO2021117346A1 (ja) * | 2019-12-11 | 2021-06-17 | Eneos株式会社 | セルフ給油管理システム |
JP7474399B1 (ja) | 2023-08-31 | 2024-04-25 | 雲南電網有限責任公司徳宏供電局 | インクリメンタル時空間学習に基づく異常行動認識監視方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7108395B2 (ja) | 2022-07-28 |
JP2022169507A (ja) | 2022-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7108395B2 (ja) | 行動監視システム | |
US11620894B2 (en) | Surveillance system and method for predicting patient falls using motion feature patterns | |
CN107590212A (zh) | 一种人脸图片的入库***及方法 | |
CN109495727A (zh) | 智能监控方法及装置、***、可读存储介质 | |
JP2019080271A (ja) | 在室者監視システム | |
Patel et al. | Iot based facial recognition door access control home security system | |
CN108537920B (zh) | 基于人脸识别的访客监控方法和*** | |
KR20180085505A (ko) | 얼굴인식을 통한 학습형 실시간 안내 시스템 및 그 안내 방법 | |
Mehra et al. | Home security system using iot and aws cloud services | |
JP2002304651A (ja) | 入退室管理装置とその方法、およびこの方法の実行プログラムとこの実行プログラムを記録した記録媒体 | |
CN117351405B (zh) | 一种人群行为分析***及方法 | |
US11586682B2 (en) | Method and system for enhancing a VMS by intelligently employing access control information therein | |
EP3109837A1 (en) | System and method of smart incident analysis in control system using floor maps | |
US20220198804A1 (en) | Frictionless Authentication and Monitoring | |
JP2012049774A (ja) | 映像監視装置 | |
Uddin et al. | Smart home security using facial authentication and mobile application | |
Dirgantara et al. | Design of Face Recognition Security System on Public Spaces | |
KR101151719B1 (ko) | 바이오 인식 출입 관리 시스템 | |
Bharadwaj et al. | Automated Surveillance Security System Using Facial Recognition for Homes and Offices | |
Reddy et al. | Real time security surveillance using machine learning | |
Rao | Implementation of Low Cost IoT Based Intruder Detection System by Face Recognition using Machine Learning | |
EP4345772A1 (en) | A computer implemented method and system for identifying an event in video surveillance data | |
WO2023181155A1 (ja) | 処理装置、処理方法、および記録媒体 | |
Kaluža et al. | A probabilistic risk analysis for multimodal entry control | |
Lubna et al. | ATM weapon, fraud detection and cybercrime prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220622 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7108395 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |