JP2022169507A - 行動監視システム - Google Patents
行動監視システム Download PDFInfo
- Publication number
- JP2022169507A JP2022169507A JP2022113631A JP2022113631A JP2022169507A JP 2022169507 A JP2022169507 A JP 2022169507A JP 2022113631 A JP2022113631 A JP 2022113631A JP 2022113631 A JP2022113631 A JP 2022113631A JP 2022169507 A JP2022169507 A JP 2022169507A
- Authority
- JP
- Japan
- Prior art keywords
- behavior
- image
- neural network
- monitoring
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 160
- 230000006399 behavior Effects 0.000 claims abstract description 120
- 238000013528 artificial neural network Methods 0.000 claims abstract description 108
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 42
- 238000003384 imaging method Methods 0.000 claims abstract description 6
- 230000009471 action Effects 0.000 claims description 90
- 230000004913 activation Effects 0.000 claims description 7
- 239000000725 suspension Substances 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 38
- 238000000034 method Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 20
- 239000013598 vector Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000010191 image analysis Methods 0.000 description 13
- 238000012806 monitoring device Methods 0.000 description 13
- 230000002159 abnormal effect Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 210000000857 visual cortex Anatomy 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 235000006732 Torreya nucifera Nutrition 0.000 description 1
- 244000111306 Torreya nucifera Species 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
Abstract
【課題】多層式のニューラルネットワークに監視カメラで撮像された監視領域の画像を入力して利用者の行動から不正行為による異常が発生していないかを監視するする行動監視システムを提供する。【解決手段】行動監視システムは、監視領域であるオフィスルーム12を撮像する撮像部である監視カメラ14と、オフィスルーム12の画像を利用して学習された多層式ニューラルネットワークを備え、オフィスルーム12内の人物の異常行動を判定する行動判定部16と、行動判定部16の多層式ニューラルネットワークの学習を行う学習制御部18と、が設けられる。行動判定部16は、オフィスルーム12内の在室に関する情報に基づき、判定動作の休止と起動を制御する。学習制御部18は、行動判定部16の判定動作の休止から起動までの間の時間を利用して、行動判定部16の多層式ニューラルネットワークの学習を行う。【選択図】図1
Description
本発明は、施設内の部屋を監視カメラで撮像した画像からニューラルネットワークにより在室者の不審な行動を監視する行動監視システムに関する。
従来、オフィスビルなどの施設にあっては入退室管理設備が設置されており、部屋の出入口の扉外側に設置したカードリーダ等の読取端末で、利用者が保有するカードから読み取った利用者ID情報を予め登録した利用者識別情報(以下(利用者ID)という)との一致を判別した場合に入退室管理制御装置に認証信号を送り、入退室管理制御装置からの制御信号により扉の電気錠を解錠し、関係者以外の第三者が施設内に入らないように管理している(特許文献1)。
また、施設内に入った利用者の行動を、人物動線追跡技術を利用して監視する監視カメラシステムも知られている。この監視カメラシステムは、監視領域内を移動する人物の行動を追跡する動線データを動線データベースに記憶し、監視領域内を移動する人物をカメラで撮影したカメラ画像データをカメラ画像データベースに記憶し、動線データベースに記憶された人物の動線データのなかから、特定の人物行動を表わす条件データに該当する人物行動が行われた区間を検出し、この検出された区間の当該人物を撮影したカメラ画像データを抽出して再生することにより、不正行為者の行動を確認できるようにしている(特許文献2)。
しかしながら、このような従来の入退室管理設備にあっては、利用者がカードを使用して電気錠を解錠して部屋に入る場合に別の人物が一緒に入る共連れの問題があり、登録されている利用者以外の第三者が共連れにより室内に入ってしまう場合があり、その行動を監視することが困難なため、機密漏洩の可能性がある。
また、オフィスルーム等の多数の利用者が働く場所では、権限のある管理者や担当者がパーソナルコンピュータ等の情報端末機器を使用して例えば銀行決済取引をしたり、書棚に保管した機密情報を収めたファイルを使用した業務等を日常的に行っており、例えば権限のある管理者や担当者が会議等のために一時的に席を外していた場合、権限のない第三者により情報端末機器が不正に操作されたり、書棚に保管されている機密ファイルが不正に閲覧されたり持ち出されたりする可能性がある。
このような不正行為を防止するためには、例えば監視カメラにより撮像された監視領域の画像を監視することが考えられるが、人為的に画像を常に見ていなければならず、不正行為の発見は困難であり、不正な銀行取引や機密情報の漏洩等が後に発覚して初めて気づくといった問題がある。
本発明は、多層式のニューラルネットワークに監視カメラで撮像された監視領域の画像を入力して不正行為による異常が発生していないかを監視可能とする行動者監視システムを提供することを目的とする。
(行動監視システム)
本発明は、行動監視システムであって、
監視対象とする監視領域を撮像する撮像部と、
監視領域の画像を利用して学習された多層式ニューラルネットワークを備え、監視領域内の人物の異常行動を判定する行動判定部と、
行動判定部の多層式ニューラルネットワークの学習を行う学習制御部と、
が設けられ、
行動判定部は、監視領域内の在室に関する情報に基づき、判定動作の休止と起動を制御し、
学習制御部は、行動判定部の判定動作の休止から起動までの間の時間を利用して、行動判定部の多層式ニューラルネットワークの学習を行うことを特徴とする。
本発明は、行動監視システムであって、
監視対象とする監視領域を撮像する撮像部と、
監視領域の画像を利用して学習された多層式ニューラルネットワークを備え、監視領域内の人物の異常行動を判定する行動判定部と、
行動判定部の多層式ニューラルネットワークの学習を行う学習制御部と、
が設けられ、
行動判定部は、監視領域内の在室に関する情報に基づき、判定動作の休止と起動を制御し、
学習制御部は、行動判定部の判定動作の休止から起動までの間の時間を利用して、行動判定部の多層式ニューラルネットワークの学習を行うことを特徴とする。
(監視領域内の在室に関する情報の取得方法)
行動判定部は、前記監視領域に設置された人感センサにより取得した監視領域内の在室に関する情報に基づき判定動作の休止と起動を制御する。
行動判定部は、前記監視領域に設置された人感センサにより取得した監視領域内の在室に関する情報に基づき判定動作の休止と起動を制御する。
(学習画像)
行動判定部の多層式ニューラルネットワークは、監視領域の画像から切出された1又は複数の監視区画に存在する備品の画像及び備品使用権限をもつ利用者が備品を扱う画像により学習される。
行動判定部の多層式ニューラルネットワークは、監視領域の画像から切出された1又は複数の監視区画に存在する備品の画像及び備品使用権限をもつ利用者が備品を扱う画像により学習される。
(備品使用権限をもつ利用者の行動及び備品の存在に基づく判定)
行動判定部は、多層式ニューラルネットワークに入力された監視領域の画像から出力される備品使用権限をもつ利用者の行動を示す推定値及び備品の存在を示す推定値に基づき、前記監視領域内の人物の異常行動を判定する。
行動判定部は、多層式ニューラルネットワークに入力された監視領域の画像から出力される備品使用権限をもつ利用者の行動を示す推定値及び備品の存在を示す推定値に基づき、前記監視領域内の人物の異常行動を判定する。
(基本的な効果)
本発明は、行動監視システムに於いて、監視対象とする監視領域を撮像する撮像部と、監視領域内の人物の異常行動を判定する行動判定部と、行動判定部の多層式ニューラルネットワークの学習を行う学習制御部と、が設けられ、行動判定部は、監視領域内の在室に関する情報に基づき、判定動作の休止と起動を制御し、学習制御部は、行動判定部の判定動作の休止から起動までの間の時間を利用して、行動判定部の多層式ニューラルネットワークの学習を行うため、多層式ニューラルネットワークの出力により、学習済み監視領域の画像と一部の特徴は一致するが一部の特徴が一致しない場合や、全ての特徴が一致しない場合には、備品使用権限をもつ利用者による備品の扱いではないことを示す異常行動が判定され、第三者の不正行為による異常行動を監視することができる。また、監視対象とする備品使用権限をもつ利用者の服装や髪形等に変化があっても、行動判定部の多層式ニューラルネットワークはこの変化があった後の画像についても学習することから、監視区画における第三者の異常行動をより精度良く判定することを可能とする。
本発明は、行動監視システムに於いて、監視対象とする監視領域を撮像する撮像部と、監視領域内の人物の異常行動を判定する行動判定部と、行動判定部の多層式ニューラルネットワークの学習を行う学習制御部と、が設けられ、行動判定部は、監視領域内の在室に関する情報に基づき、判定動作の休止と起動を制御し、学習制御部は、行動判定部の判定動作の休止から起動までの間の時間を利用して、行動判定部の多層式ニューラルネットワークの学習を行うため、多層式ニューラルネットワークの出力により、学習済み監視領域の画像と一部の特徴は一致するが一部の特徴が一致しない場合や、全ての特徴が一致しない場合には、備品使用権限をもつ利用者による備品の扱いではないことを示す異常行動が判定され、第三者の不正行為による異常行動を監視することができる。また、監視対象とする備品使用権限をもつ利用者の服装や髪形等に変化があっても、行動判定部の多層式ニューラルネットワークはこの変化があった後の画像についても学習することから、監視区画における第三者の異常行動をより精度良く判定することを可能とする。
(学習画像による効果)
また、多層式ニューラルネットワークは、監視領域の画像から切出された1又は複数の監視区画に存在する備品の画像及び備品使用権限をもつ利用者が備品を扱う画像により学習されるため、備品の利用者が備品使用権限をもつ者であるか第三者であるかに基づき監視領域内の人物の異常行動を判定できると共に、利用者が監視領域の画像に映っていなくとも備品が存在するか否かに基づき、例えば備品の盗難等として監視領域内の人物の異常行動を判定することができる。
また、多層式ニューラルネットワークは、監視領域の画像から切出された1又は複数の監視区画に存在する備品の画像及び備品使用権限をもつ利用者が備品を扱う画像により学習されるため、備品の利用者が備品使用権限をもつ者であるか第三者であるかに基づき監視領域内の人物の異常行動を判定できると共に、利用者が監視領域の画像に映っていなくとも備品が存在するか否かに基づき、例えば備品の盗難等として監視領域内の人物の異常行動を判定することができる。
[行動監視システム]
(システムの概要)
図1は行動監視システムの概略を入退室管理設備と共に示した説明図である。図1に示すように、ビル等の施設のオフィスルーム12には撮像部として機能する監視カメラ14が設置され、複数の利用者が在室しているオフィスルーム12内を監視カメラ14により動画撮像している。
(システムの概要)
図1は行動監視システムの概略を入退室管理設備と共に示した説明図である。図1に示すように、ビル等の施設のオフィスルーム12には撮像部として機能する監視カメラ14が設置され、複数の利用者が在室しているオフィスルーム12内を監視カメラ14により動画撮像している。
監視カメラ14はRGBのカラー画像を例えば30フレーム/秒で撮像して動画として出力する。また、1フレームは例えば縦横4056×4056ピクセルの画素配置となる。
オフィスルーム12に対し施設の管理センター等には行動監視装置10が設置されている。行動監視装置10には行動判定部16、人物特定部17、学習制御部18及び録画装置20が設けられ、オフィスルーム12に設置された監視カメラ14からの信号線がそれぞれに並列に入力されている。
行動判定部16は多層式のニューラルネットワークを備えており、多層式のニューラルネットワークは監視領域となるオフィ―スルーム12の画像内に設定された1又は複数の監視区画に存在する利用者端末等の情報端末機器や書棚等の備品の画像及び監視対象とする備品の使用が許可された利用者(以下「備品使用権限をもつ利用者」という)が備品を扱う画像により予め学習されている。
システム運用中に、行動判定部16は、例えばオフィスルーム12に利用者の在室がある場合に行動判定動作を行っており、監視カメラ14により撮像された監視領域の画像を多層式のニューラルネットワークに入力して備品使用権限をもつ利用者以外の第三者(人物)の異常行動、即ち監視領域内に通常存在する人物の許可された行動か否かを判定し、備品使用権限をもつ利用者の利用者端末を含む所定の管理装置に警報信号を送信して報知させると共に、録画装置20で録画している異常行動を判定した時点を含む前後所定時間の監視領域の動画を保存して再生可能としている。
人物特定部17は、行動判定部16で異常行動が判定された人物を特定して人物特定情報を出力する。例えば人物特定部17は、後の説明で明らかにする入退室管理設備による電気錠28を解錠する制御に連動して、入室カメラ25により撮像された利用者画像を記憶し、利用者画像と行動判定部16で異常行動が判定された人物の画像と照合し、一致した利用者の利用者情報を人物特定情報として出力する。
学習制御部18は、システムの運用開始前に、例えばオフィスルーム12の勤務時間帯に監視カメラ14により撮像された監視領域の画像の中から監視対象として設定した1又は複数の監視区画の画像を例えば1分周期で切出して学習画像として記憶し、これを例えば1ケ月程度繰り返すことで多層式ニューラルネットワークの学習に必要な十分の量の学習画像を収集し、監視区画の画像を多層式のニューラルネットワークに入力してディープラーニングにより学習させることで、システムの運用を開始した場合に、学習済みの多層式のニューラルネットワークにより監視区画における第三者の異常行動を精度良く判定することを可能とする。
また、システムの運用中に学習制御部18は、例えば備品使用権限をもつ利用者が始業時に利用者端末の使用を開始した場合に、所定時間の間、システムの運用開始前と同様に、監視区画の学習画像の記憶を行い、オフィスルーム12に利用者が在室していないことで行動判定部16の行動判定動作が休止している夜間や休日等の空き時間に、記憶している学習画像を行動判定部16の多層式ニューラルネットワークに入力して学習することで、監視対象とする備品使用権限をもつ利用者の服装や髪形等に変化があっても、この変化が行動判定部16の多層式ニューラルネットワークに反映され、監視区画における第三者の異常行動を精度良く判定することを可能としている。
(入退室管理システムの概要)
本実施形態の行動監視システムが設置された施設には、入退室管理設備が併せて設けられている。入退室管理設備として、図1に示すように、在室者の監視対象となるオフィスルーム12の出入口には扉30が設けられており、扉30には電気錠28が設けられ、また扉30の近傍にはカードリーダ26が配置されている。
本実施形態の行動監視システムが設置された施設には、入退室管理設備が併せて設けられている。入退室管理設備として、図1に示すように、在室者の監視対象となるオフィスルーム12の出入口には扉30が設けられており、扉30には電気錠28が設けられ、また扉30の近傍にはカードリーダ26が配置されている。
カードリーダ26及び電気錠28は入退室管理制御装置22に伝送線により接続されている。入退室管理制御装置22は例えば建物の各階毎に配置されている。施設の管理センター等には、センター装置23とクライアント装置24が配置され、LAN回線21により相互に接続されると共に各階の入退室管理制御装置22と接続されている。
また、オフィスルーム12の出入口には入室撮像部として機能する入室カメラ25が設置され、電気錠28を解錠する制御に連動して入室する利用者を撮像し、撮像した利用者画像を入出力管理制御装置22を介してクライアント装置24に送信し、利用者管理情報に対応して利用者画像を記憶し、例えば行動監視装置10に設けられた人物特定部17に利用者画像を送り、行動判定部16で異常行動が判定された人物の画像と照合し、一致した利用者の利用者情報を人物特定情報として出力させるようにしている。
入退室管理設備の管理制御は次のようになる。カードリーダ26は、例えば利用者の携帯する磁気カード又は非接触ICカードから利用者ID等の個人情報を読取って事前登録した個人情報と照合し、照合一致により認証成功を判別した場合に認証信号を入退室管理制御装置22へ送信する。
入退室管理制御装置22はカードリーダ26から認証信号を受信した場合、対応する出入口に設けた扉30の電気錠28へ制御信号を出力して解錠制御し、入室を可能とする。なお、部屋から出る場合にはカードリーダ26による認証は必要とせず、扉30の内側に設けられたスイッチ釦の操作等により電気錠28を解錠して退出することができる。
センター装置23は、ディスプレイ付きのパーソナルコンピュータであり、入退室管理設備を設置した建物の地図などの管理情報を表示する。クライアント装置24はディスプレイ付きのパーソナルコンピュータであり、LAN回線21を介して入退室管理制御装置22と接続され、入退室管理制御装置22を経由してカードリーダ26との間で磁気カードや非接触ICカードに対応した個人情報の登録、削除、履歴検索などの各種設定や処理を行い、また、カードリーダ26からのカード読取信号に基づく認証処理毎にオフィスルーム12の在室者をカウントし、在室している利用者数及び在室している利用者名(利用者ID)を管理している。
行動監視装置10に設けられた行動判定部16はLAN回線21に接続され、本実施形態にあっては、入退室管理設備のクライアント装置24を行動監視システムの管理装置として利用していることから、行動判定部16で監視区画の画像から備品使用権限をもつ利用者以外の第三者の異常行動が判定された場合、LAN回線21を介してクライアント装置24に警報信号を送信して第三者の異常行動を示す警報を報知させると共に、録画装置20で録画している異常行動を判定した時点を含む前後所定時間の監視領域の動画を再生可能としている。
また、LAN回線21にはオフィスルーム12に設置されている行動監視の対象となる利用者端末32が接続されており、利用者端末32はディスプレイ付きのパーソナルコンピュータを用いている。なお、利用者端末32はオフィスルーム12内に配置されているものであるが、LAN回線21との接続を示すため、オフィスルーム12から取り出した状態で示している。
また、行動判定部16は、入退室管理設備のクライアント装置24で管理しているオフィスルーム12の在室管理情報を利用して行動判定動作の休止と起動(休止解除)を制御している。
即ち、行動判定部16は、クライアント装置24の在室管理情報から、監視対象とするオフィスルーム12における夜間や休日等での利用者の在室なしを検出した場合に行動判定動作を休止し、この休止中に利用者の在室ありを検出した場合に、休止を解除して行動判定動作を起動する。
このようにシステムの運用中に行動判定部16で行動判定動作が休止されると、学習制御部18は休止による空き時間を利用して、システムの運用開始前と同様に、システム運用中に記憶した監視区画の学習画像により行動判定部16の多層式ニューラルネットワークを学習する制御を行う。
(オフィスルーム監視の概要)
図2は監視対象となるオフィスレイアウトの一例を示した説明図、図3は監視画像に対する監視区画の設定を示した説明図である。
図2は監視対象となるオフィスレイアウトの一例を示した説明図、図3は監視画像に対する監視区画の設定を示した説明図である。
図2に示すように、行動監視システムの監視対象となるオフィスルーム12は、その内部に複数の机と椅子が配置され、机の上にはパーソナルコンピュータ等の備品が置かれている。オフィスルーム12の机配置は、例えば課や係単位に、図示で上下方向に2列に机が配置され、図示で上側には、管理職の席が配置されている。
監視カメラ14はオフィスルーム12の図示で左下のコーナーの天井に近い位置に、室内全体を俯瞰するように配置され、部屋全体を監視画像に映し込めるようにしている。なお、1台に監視カメラ14で部屋全体を撮像できない場合は、必要に応じて複数台の監視カメラ14を設置してもよい。また、監視カメラ14として180°又は360°の撮像範囲を持つ広角の監視カメラ14を設置しても良い。
また、オフィスルーム12の出入口に設けられた扉30の外側にはカードリーダ26が配置され、入室の際に利用者はカードリーダ26にカードを読み取らせて電気錠を解錠させる。
オフィスルーム12に対しては、行動監視システムで監視対象とする矩形の点線で示す監視区画34-1~34-8が設定される。例えば監視区画34-1は管理職となるA部長の席に設定され、監視区画34-1の机には利用者端末32-1があり、利用者端末32-1は部長Aが使用権限をもっている。このため監視区画34-1は利用者端末32-1の備品使用権限をもつA部長以外の第三者による行動を監視することになる。
また、監視区画34-2は書棚35-2に設定され、書棚35-2にはA部長が使用権限を持つ機密書類のファイルが格納されている。このため監視区画34-2は書棚35-2の備品使用権限をもつA部長以外の第三者によるファイル持ち出し等の行動を監視することになる。
このようなオフィスルーム12に対する監視区画の設定は、図3に示すように、監視カメラ14で撮像された監視領域の監視画像36を利用して行われる。なお、図3の監視画像36は一例であり、図2のオフィスルーム12には対応していない。
図3に示すように、行動監視制御の管理装置として機能する図1の入退室管理設備のクライアント装置24に監視画像36を表示させ、この状態で例えば点線の矩形で示す監視区画34-10~34-12を画面内に設定する。
例えば監視区画34-10は部長Xの席に設定され、監視区画34-10の机には利用者端末32-10があり、利用者端末32-10は部長Xが使用権限をもっている。このため監視領域34-10は利用者端末32-10の備品使用権限をもつX部長以外の第三者による行動を監視することになる。
また、監視区画34-11は機密情報を扱う社員Yの席に設定され、監視区画34-11の机には利用者端末32-11があり、利用者端末32-11は社員Yが使用権限をもっている。このため監視区画34-11は利用者端末32-11の備品使用権限をもつ社員Y以外の第三者による行動を監視することになる。
このように監視画像36により設定された監視区画34-10~34-12に対しては、行動監視制御以外に、図1に示した学習制御部18により監視区画の画像を切り出して学習画像として記憶し、記憶した学習画像による行動判定部16の多層式ニューラルネットワークを学習させる学習制御が行われる。
[行動監視装置の第1実施形態]
図4は、図1の行動監視装置の第1実施形態を機能構成により示したブロック図である。
図4は、図1の行動監視装置の第1実施形態を機能構成により示したブロック図である。
図4に示すように、行動判定部16は、画像切出部44、多層式ニューラルネットワーク46及び時系列判定部48で構成され、また学習制御部18は、画像切出部50、制御部52、学習情報記憶部として機能する学習画像記憶部54、マウスやキーボード等の操作部55及びディスプレイを備えた表示部56で構成され、これらの機能は、ニューラルネットワークの処理に対応したコンピュータ回路のCPUによるプログラムの実行により実現される。
(行動判定部の機能)
行動判定部16の多層式ニューラルネットワーク46は、学習制御部18による監視区画に設定された備品の画像及び備品使用権限をもつ利用者が備品を扱う画像により学習されている。
行動判定部16の多層式ニューラルネットワーク46は、学習制御部18による監視区画に設定された備品の画像及び備品使用権限をもつ利用者が備品を扱う画像により学習されている。
行動判定部16は、クライアント装置24で管理されているオフィスルーム12の在室管理情報から在室ありを検出した場合に行動判定動作を開始し、監視カメラ14により撮像されたオフィスルーム12の監視画像を例えば1分程度に定めた行動監視に必要な所定の周期毎に画像切出部44に保持させ、保持された監視画像の中に映っている1又は複数の監視区画の画像を切出して多層式ニューラルネットワーク46に入力し、備品使用権限をもつ利用者の行動を示す推定値を出力させる。
例えば図3の監視画像36を例にとると、行動判定部16は、監視画像36を画像切出部44に保持させた状態で、監視画像36に設定されている監視区画34-10~34-12の画像を切出して多層式ニューラルネットワーク46に順次入力し、例えば監視区画34-10の切出し画像であれば、利用者端末32-10の備品使用権限をもつ部長Xの行動を示す推定値を出力させる。
また、監視区画34-10の切出し画像に部長Xが映っておらず、利用者端末32-10のみの場合、この切出し画像を入力した多層式ニューラルネットワーク46は、利用者端末32-10の存在を示す推定値を出力させる。
監視区画の切出し画像を入力した場合に多層式ニューラルネットワーク46が出力する備品使用権限をもつ利用者の行動を示す推定値は0~1の値を持ち、備品使用権限をもつ利用者の画像であれば推定値は1又は1に近い値となり、第三者の画像であれば推定値は0又は0に近い値となる。
このため多層式ニューラルネットワーク46は判定閾値を例えば0.5に設定しており、推定値が判定閾値0.5以下の場合は、第三者による異常行動と判定して時系列判定部48に出力する。
時系列判定部48は、多層式ニューラルネットワーク46による異常行動の判定結果が複数回又は所定時間に亘り連続した場合に、第三者による異常行動との判定を確定させ、人物特定部17に出力する。
人物特定部17には、図1に示した入退室管理設備による電気錠28を解錠する制御に連動して入室カメラ25により撮像された利用者画像が記憶されており、記憶している利用者画像と行動判定部16で異常行動が判定された人物の画像と照合し、一致した利用者の利用者情報を入退室管理設備のクライアント装置24から取得して人物特定情報とし、異常行動が判定された人物の画像、人物特定情報を含む警報信号を例えば入退室管理設備のクライアント装置24に送信して警報信号を送信して第三者の異常行動を警報により報知させると共に、録画装置20で録画している異常行動を判定した時点を含む前後所定時間の監視領域の動画を再生可能としている。
また、人物特定部17からの警報信号は、異常行動が判定された監視区画の利用者端末32にも送信され、席を外していた利用者が戻ってきて利用者端末32を操作した場合に、第三者の異常行動の警報を報知させると共に、録画装置20で録画している異常行動を判定した時点を含む前後所定時間の監視領域の動画を再生可能とし、判定された第三者の異常行動を確認して必要な対処を可能とする。
また、行動判定部16の多層式ニューラルネットワーク46は、入力された監視区画の画像に備品のみが映っており、備品使用権限をもつ利用者が映っていなかった場合、多層式ニューラルネットワーク46は監視対象となる備品の存在を示す推定値として1又は1に近い値を出力する。
これに対し監視対象としている備品が不正に持ち出されたような場合、備品の映っていない監視区画の画像が多層式ニューラルネットワーク46に入力され、監視対象となる備品の存在を示す推定値は0又は0に近い値となり、閾値0.5以下となるため警報信号が出力されて異常が報知され、また、異常発生時点を含む前後所定時間の録画装置20による動画再生が可能となる。これにより監視対象としている備品の盗難等の監視も可能となる。
また、行動判定部16は、監視画像から監視区画の画像を切り出した場合、所定サイズの画像に正規化して多層式ニューラルネットワークに入力させる制御を行う。
これは、図3に示したように、監視カメラ14により撮像された監視画像36に設定された監視区画34-10~34-12が、監視カメラ14からの距離が遠くなると画像サイズが小さくなり、その結果、切出された複数の監視区画の画像は縦横サイズが異なっており、そのまま多層式ニューラルネットワーク46に入力すると、サイズの小さい画像の判定精度が低くなり、これを防止するために監視区画の切出し画像を同じサイズに正規化している。
監視区画の切出し画像を所定サイズに正規化するためサイズ変更は公知の手法であり、画像サイズを小さくする場合は画素の間引き処理を行い、画像サイズを大きくする場合は画素の補完処理を行う。
また、学習制御部18による監視区画の画像を切出して学習画像として記憶する場合にも、同様に監視区画から切り出した画像を所定サイズの画像に正規化して記憶する制御が行われる。
(多層式ニューラルネットワーク)
図5は図4に示した多層式ニューラルネットワークの機能構成を示した説明図であり、図5(A)に概略を示し、図5(B)に詳細を模式的に示している。
図5は図4に示した多層式ニューラルネットワークの機能構成を示した説明図であり、図5(A)に概略を示し、図5(B)に詳細を模式的に示している。
図5(A)に示すように、本実施形態の多層式ニューラルネットワーク46は、特徴抽出部58と認識部60で構成される。特徴抽出部58は畳み込みニューラルネットワークであり、認識部60は全結合ニューラルネットワークである。
多層式ニューラルネットワーク46は、深層学習(ディープラーニング)を行うニューラルネットワークであり、中間層を複数つなぎ合わせた深い階層をもつニューラルネットワークであり、特徴抽出となる表現学習を行う。
通常のニューラルネットワークは、画像から通常在室している利用者を判定するための特徴抽出には、人為的な試行錯誤による作業を必要とするが、多層式ニューラルネットワーク46では、特徴抽出部58として畳み込みニューラルネットワークを用いることで、画像の画素値を入力し、学習により最適な特徴を抽出し、認識部60の全結合ニューラルネットワークに入力して備品使用権限をもつ利用者の行動を示す推定値を出力する。
認識部60の全結合ニューラルネットワークは、図5(B)に模式的に示すように、入力層66、全結合68、中間層70と全結合68の繰り返し、及び出力層72で構成されている。
(畳み込みニューラルネットワーク)
図5(B)は特徴抽出部58を構成する畳み込みニューラルネットワークの構造を模式的に示している。
図5(B)は特徴抽出部58を構成する畳み込みニューラルネットワークの構造を模式的に示している。
畳み込みニューラルネットワークは、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。視覚野には、視野の小区域に対し敏感な小さな細胞の集まりとなる受容野が含まれており、受容野の挙動は、行列の形で重み付けを学習することで模倣できる。この行列は重みフィルタ(カーネル)と呼ばれ、生物学的に受容野が果たす役割と同様に、ある画像の類似した小区域に対して敏感になる。
畳み込みニューラルネットワークは、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。
畳み込みニューラルネットワークは、図5(B)に示すように、まず、入力画像62に対し重みフィルタ63により畳み込み処理を行う。例えば、重みフィルタ63は縦横3×3の所定の重み付けがなされた行列フィルタであり、入力画像62の各画素にフィルタ中心を位置合わせしながら畳み込み演算を行うことで、入力画像62の9画素を小区域となる特徴マップ64aの1画素に畳み込み、複数の特徴マップ64aが生成される。
続いて、畳み込み演算により得られた特徴マップ64aに対しプーリングの演算を行う。プーリングの演算は、識別に不必要な特徴量を除去し、識別に必要な特徴量を抽出する処理である。
続いて、重みフィルタ65a,65bを使用した畳み込み演算とプーリングの演算を多段に繰り返して特徴マップ64b,64cが得られ、最後の層の特徴マップ64cを認識部60に入力し、通常の全結合ニューラルネットワークを用いた認識部60により備品使用権限をもつ利用者の行動を推定する。
なお、畳み込みニューラルネットワークにおけるプーリングの演算は、備品使用権限をもつ利用者の識別に不必要な特徴量が必ずしも明確でなく、必要な特徴量を削除する可能性があることから、プーリングの演算は行わないようにしても良い。
(学習制御部の機能)
図4に示す学習制御部18の制御部52は、システムの運用開始前に、例えばオフィスルーム12の勤務時間帯に監視カメラ14により撮像された監視領域の動画の中から監視対象として設定した1又は複数の監視区画のフレーム画像を例えば1分周期で1又は複数切出して学習画像として学習画像記憶部54に記憶する。このような学習画像の記憶を例えば1ケ月程度繰り返すことで多層式ニューラルネットワーク46の学習に必要な十分の量の学習画像が収集される。
図4に示す学習制御部18の制御部52は、システムの運用開始前に、例えばオフィスルーム12の勤務時間帯に監視カメラ14により撮像された監視領域の動画の中から監視対象として設定した1又は複数の監視区画のフレーム画像を例えば1分周期で1又は複数切出して学習画像として学習画像記憶部54に記憶する。このような学習画像の記憶を例えば1ケ月程度繰り返すことで多層式ニューラルネットワーク46の学習に必要な十分の量の学習画像が収集される。
このようにして学習画像記憶部54に記憶される学習画像についても、行動判定部16による監視区画の切出し画像と同様に、画像サイズの正規化が行われている。
また、制御部52は、システム運用中に監視領域の画像を切出して学習画像記憶部54に記憶する制御を行う。このため制御部52は、クライアント装置24の在室管理情報から監視区画の備品使用権限をもつ利用者の在室を検出し、且つ、利用者端末の使用開始を例えばLAN回線21に対する利用者端末のネットワーク接続により検出した場合、例えば10~15分といった所定時間のあいだ、例えば1分周期で監視画像から監視区画の画像を切出して学習画像記憶部54に記憶する制御を行う。
このようにシステム運用中の始業時に学習画像記憶部54に記憶された学習画像は、行動判定部16の行動判定動作が休止している夜間や休日等の空き時間に、学習制御部18の制御部52により学習画像記憶部54から順次読出されて多層式ニューラルネットワーク46に入力することで学習する制御が行われる。
これによりシステム運用中に、監視区画の画像に映される備品使用権限をもつ利用者に服装や髪形等に変化があっても、この変化した監視区画の画像により多層式ニューラルネットワーク46の学習が行われ、備品使用権限をもつ利用者の行動を示す推定値の低下が抑制され、備品使用権限をもつ利用者の行動を第三者の異常行動と誤って判定してしまうことを未然に防止可能とする。
(多層式ニューラルネットワークの学習)
図4に示した学習制御部18による多層式ニューラルネットワーク46の学習は次のようにして行われる。
図4に示した学習制御部18による多層式ニューラルネットワーク46の学習は次のようにして行われる。
入力層、複数の中間層及び出力層で構成されるニューラルネットワークは、各層に複数のユニットを設けて他の層の複数のユニットと結合し、各ユニットにはウェイト(重み)とバイアス値が設定され、複数の入力値とウェイトとのベクトル積を求めてバイアス値を加算して総和を求め、これを所定の活性化関数に通して次の層のユニットに出力するようにしており、最終層に到達するまで値が伝播するフォワードプロパゲーションが行われる。
このようなニューラルネットワークのウェイトやバイアスを変更するには、バックプロパゲーションとして知られている学習アルゴリズムを使用する。バックプロパゲーションでは、入力値xと期待される出力値(期待値)yというデータセットをネットワークに与えた場合の教師ありの学習と、入力値xのみをネットワークに与えた場合の教師なしの学習があり、本実施形態は、教師ありの学習を行う。
教師ありの学習でバックプロパゲーションを行う場合は、ネットワークを通ってきたフォワードプロパゲーションの結果である推定値y*と期待値yの値を比較する誤差として、例えば、平均二乗誤差の関数を使用する。
バックプロパゲーションでは、推定値y*と期待値yの誤差の大きさを使い、ネットワークの後方から前方までウェイトとバイアスを補正しながら値を伝播させる。各ウェイトとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、ウェイトとバイアスの値を変更することにより、誤差関数の値を最小化する。
ニューラルネットワークに対するバックプロパゲーションによる学習の手順は次にようになる。
(1) 入力値xをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値y*を求める。
(2) 推定値y*と期待値yに基づき誤差関数で誤差を計算する。
(3) ウェイトとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。
(1) 入力値xをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値y*を求める。
(2) 推定値y*と期待値yに基づき誤差関数で誤差を計算する。
(3) ウェイトとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。
この手順は、ニューラルネットワークのウェイトとバイアスの誤差が可能な限り最小になるまで、異なる入力値xと期待値yの組み合わせを使って繰り返し、誤差関数の値を最小化する。
[行動判定制御]
図6は図4の行動判定部による行動判定制御を示したフローチャートである。図6に示すように、行動判定部16はステップS1で監視カメラ14により撮像された監視領域の画像に対し、例えば図3に示したように、監視区画を設定する。
図6は図4の行動判定部による行動判定制御を示したフローチャートである。図6に示すように、行動判定部16はステップS1で監視カメラ14により撮像された監視領域の画像に対し、例えば図3に示したように、監視区画を設定する。
続いてステップS2に進み、行動判定部16は、クライアント装置24で管理しているオフィスルーム12の在室管理情報から在室者の有無を判別し、在室者なしが判別された場合はステップS3に進んで行動判定動作を休止し、一方、ステップS2で在室者ありが判別された場合はステップS4に進んで行動判定動作を開始又は継続し、ステップS5に進む。
行動判定部16は、ステップS5で例えば1分周期となる所定の監視タイミングへの到達を判別するとステップS6に進み、そのとき監視カメラ14により撮像されている動画のフレーム画像を監視画像として画像切出部44に保持し、監視画像から監視区画の画像を切り出して画像サイズを正規化し、ステップS7で多層式ニューラルネットワーク46に入力し、備品使用権限をもつ利用者の行動を示す推定値を出力する。
続いて行動判定部16は、ステップS8で監視区画の画像の入力により多層式ニューラルネットワーク46から出力された備品使用権限をもつ利用者の行動を示す推定値が所定の閾値以下(又は閾値未満)か否か判別し、備品使用権限をもつ利用者の行動であれば閾値超え(又は閾値以上)となることから、これを判別した場合はステップS2に戻って同様な処理を繰り返す。
これに対し行動判定器16がステップS8で監視区画の画像の入力により多層式ニューラルネットワーク46から出力される備品使用権限をもつ利用者の行動を示す推定値が所定の閾値以下(又は閾値未満)となることを判別した場合は、ステップS9に進んで第三者の異常行動と判定し、ステップS10で例えば入退室管理設備のクライアント装置24や異常行動が判定された監視区画の利用者端末等に警報信号を送信して警報を報知させ、更に、ステップS11に進んで録画装置20に対し、異常行動の判定時点を含む例えば前後5分間の監視動画の再生を指示し、クライアント装置24又は利用者端末に送信して表示させる。
[学習制御]
図7は図4の学習制御部による在室者学習制御を示したフローチャートである。図7に示すように、学習制御部18の制御部52は、ステップS21でクライアント装置24の在室管理情報から監視区画に対する備品使用権限をもつ利用者が在室か否か判別し、在室を判別するとステップS22に進んで監視領域に配置されている利用者端末のLAN回線21への接続の有無を判別し、接続ありを判別すると利用者端末の使用開始を認識してステップS23に進む。このようなステップS21,S22の処理により、制御部52は、監視領域の備品使用権限のある利用者が出勤して業務を開始する始業時の行動を検出している。
図7は図4の学習制御部による在室者学習制御を示したフローチャートである。図7に示すように、学習制御部18の制御部52は、ステップS21でクライアント装置24の在室管理情報から監視区画に対する備品使用権限をもつ利用者が在室か否か判別し、在室を判別するとステップS22に進んで監視領域に配置されている利用者端末のLAN回線21への接続の有無を判別し、接続ありを判別すると利用者端末の使用開始を認識してステップS23に進む。このようなステップS21,S22の処理により、制御部52は、監視領域の備品使用権限のある利用者が出勤して業務を開始する始業時の行動を検出している。
ステップS23に進んだ制御部52は、例えば1分周期となる所定の切出しタイミングへの到達を判別するとステップS24に進み、監視区画の画像を切り出して画像サイズの正規化を行った後に、ステップS25で学習画像として学習画像記憶部44に記憶させ、これをステップS26で就業開始から10~15分といった所定の学習時間の経過を判別するまで繰り返す。
続いて、制御部52は、ステップS27で夜間や休日等などにおける行動判定部16の休止中を判別するとステップS28に進み、学習画像記憶部54に記憶している監視区画の画像を読み出して多層式ニューラルネットワーク46に入力し、備品使用権限をもつ利用者の行動を示す推定値が1となるようにバックプロパゲーションにより多層式ニューラルネットワーク46のウェイトとバイアスを調整する学習制御をステップS29で行動判定部16の休止解除が判別されるまで繰り返す。
続いて、制御部52は、ステップS29で行動判定部16における行動判定動作の休止解除(起動)を判別するとステップS30に進んで多層式ニューラルネットワーク46の学習を中断又は終了し、ステップS21からの処理を繰り返す。
[行動監視装置の第2実施形態]
図8は図1の行動監視装置の第2実施形態を機能構成により示したブロック図である。
図8は図1の行動監視装置の第2実施形態を機能構成により示したブロック図である。
図8に示すように、第2実施形態の行動監視装置10に設けられた行動判定部16は、画像切出部44、画像解析部74、行動認識部76及び時系列判定部48で構成され、画像解析部74には畳み込みニューラルネットワーク78と再帰型ニューラルネットワーク80が設けられ、また、行動認識部76には判定器82とシソーラス辞書84が設けられている。シソーラス辞書84には備品使用権限をもたない第三者を識別するための異常行動判定単語が記憶されている。
また、学習制御部18は、画像切出部50、制御部52、学習情報記憶部として機能する学習データセット記憶部100、マウスやキーボード等の操作部55及びディスプレイを備えた表示部56で構成される。これらの機能は、ニューラルネットワークの処理に対応したコンピュータ回路のCPUによるプログラムの実行により実現される。
(行動判定部の機能)
図8に示すように、行動判定部16の画像切出部44は監視カメラ14で撮像されたオフィスルーム12などの監視画像を所定周期毎に読み込んで保持し、保持した監視画像に設定された1又は複数の監視区画の画像を切り出して画像サイズを正規化した後に画像解析部74に出力する。
図8に示すように、行動判定部16の画像切出部44は監視カメラ14で撮像されたオフィスルーム12などの監視画像を所定周期毎に読み込んで保持し、保持した監視画像に設定された1又は複数の監視区画の画像を切り出して画像サイズを正規化した後に画像解析部74に出力する。
画像解析部74に設けられた畳み込みニューラルネットワーク78は入力した監視区画の画像の特徴量を抽出して出力する。再帰型ニューラルネットワーク80は畳み込みニューラルネットワーク78から出力された特徴量を入力し、備品使用権限をもつ利用者又は第三者の行動を説明する入力画像の行動説明文(「画像説明文」ともいう)を生成して出力する。
行動認識部76の判定器82は、画像解析部74の再帰型ニューラルネットワーク80から出力された行動説明文を構成する1又は複数の単語と、シソーラス辞書84に記憶されている備品使用権限をもたない第三者の行動を示す異常行動判定単語とを比較し、行動説明文の単語がシソーラス辞書84の異常行動判定単語に一致又は類似した場合に備品使用権限をもたない第三者の行動を示す異常行動を判定し、時系列判定部48に出力する。
時系列判定部48は、行動認識部76による異常行動の判定結果が複数回又は所定時間に亘り連続した場合に、第三者による異常行動との判定を確定させ、図1に示した人物特定部17に出力する。
人物特定部17には、入退室管理設備による電気錠28を解錠する制御に連動して入室カメラ25により撮像された利用者画像が記憶されており、記憶している利用者画像と行動認識部76で異常行動が判定された人物の画像と照合し、一致した利用者の利用者情報を入退室管理設備のクライアント装置24から取得して人物特定情報とし、異常行動が判定された人物の画像、人物特定情報を含む警報信号例えば入退室管理設備のクライアント装置24に送信して警報信号を送信して第三者の異常行動の警報を報知させると共に、録画装置20で録画している異常行動を判定した時点を含む前後所定時間の監視領域の動画を再生してクライアント装置24などに表示させる。
(学習制御部の機能)
行動判定部16の画像解析部74に設けられた畳み込みニューラルネットワーク78と再帰型ニューラルネットワーク80は、学習制御部18の学習データセット記憶部100に予め記憶された学習画像とその行動説明文のペアからなる多数の学習データセットを使用して制御部52により学習されている。
行動判定部16の画像解析部74に設けられた畳み込みニューラルネットワーク78と再帰型ニューラルネットワーク80は、学習制御部18の学習データセット記憶部100に予め記憶された学習画像とその行動説明文のペアからなる多数の学習データセットを使用して制御部52により学習されている。
学習データセット記憶部100に記憶されている学習画像は、例えば、図4の第1実施形態と同様に、監視カメラ14により撮像された例えば図3に示した監視区画34-10~34-12により切出されて画像サイズが正規化された画像である。
また、学習データセット記憶部100には、記憶された多数の学習画像に対応して行動説明文が準備され、学習画像と行動説明文のペアからなる多数の学習データセットとして記憶されている。
例えば、図3に示した監視区画34-10から切出された学習画像に対しては、例えば「部長Xが利用者端末を操作している」といった行動説明文が準備され、また、監視区画34-10から切出された部長Xが席を外している学習画像には、例えば「利用者端末が机の上に置いてある」といった行動説明文(画像説明文)が準備され、それぞれ学習画像とペアとなって学習データセット記憶部100に記憶されている。
制御部52は、入力層、複数の中間層及び全結合の出力層で構成された学習用の畳み込みニューラルネットワーク、即ち図5に示した特徴抽出部58の畳み込みニューラルネットワークと認識部60の全結合ニューラルネットワークで構成された多層式ニューラルネットワークを学習用に準備し、まず、学習データセット記憶部100に記憶されている多数の学習画像を読み出し、学習用の多層式ニューラルネットワークに学習画像として入力し、バックプロパゲーション法(逆伝播法)により学習させる。
続いて、制御部52は、学習済みの畳み込みニューラルネットワークに得られたウェイトとバイアスを、図9に示した出力層を持たない畳み込みニューラルネットワーク78にセットして学習済みとし、学習済みの畳み込みニューラルネットワーク78に学習画像を入力して特徴量を抽出し、抽出した特徴量と入力した学習画像とペアになっている行動説明文を再帰型ニューラルネットワーク80に入力し、バックプロパゲーション法により学習させる。
このように学習制御部18により学習された畳み込みニューラルネットワーク78と再帰型ニューラルネットワーク80で構成された画像解析部74に、例えば図3に示した備品使用権限をもつ部長Xが利用者端末32-10を操作している監視区画34-10の画像が入力されると、例えば「部長Xが利用者端末を操作している」といった行動説明文が出力される。この場合には、行動認識部76により異常行動判定単語との不一致が判定され、第三者の異常行動とは認識されない。
これに対し、画像解析部74に、例えば部長X以外の第三者が利用者端末32-10を操作している監視区画34-10の画像が入力されると、例えば「不審者が利用者端末を操作している」といった行動説明文が出力され、行動認識部76で例えば「不審者」、「利用端末」、「操作」といった異常行動判定単語との一致が判定され、第三者の異常行動を認識して報知させることができる。
[画像解析部の多層式ニューラルネットワーク]
図9は図8の画像解析部に設けられた畳み込みニューラルネットワークと再帰型ニューラルネットワークの機能構成を示した説明図である。
図9は図8の画像解析部に設けられた畳み込みニューラルネットワークと再帰型ニューラルネットワークの機能構成を示した説明図である。
(畳み込みニューラルネットワーク)
図9に示すように、畳み込みニューラルネットワーク78は入力層85、複数の中間層86で構成されている。通常の畳み込みニューラルネットワークは最後の中間層86の後に、入力層、複数の中間層及び出力層を全結合して画像の特徴量から出力を推定する図5に示したように全結合ニューラルネットワークを設けているが、本実施形態は、入力画像の特徴量を抽出するだけで良いことから、後段の全結合ニューラルネットワークは設けていない。
図9に示すように、畳み込みニューラルネットワーク78は入力層85、複数の中間層86で構成されている。通常の畳み込みニューラルネットワークは最後の中間層86の後に、入力層、複数の中間層及び出力層を全結合して画像の特徴量から出力を推定する図5に示したように全結合ニューラルネットワークを設けているが、本実施形態は、入力画像の特徴量を抽出するだけで良いことから、後段の全結合ニューラルネットワークは設けていない。
畳み込みニューラルネットワーク78は、図5に示したと同様、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。畳み込みニューラルネットワーク78は、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。
畳み込みニューラルネットワーク78は、入力層85に入力した入力画像に対し重みフィルタにより畳み込み処理を行い、中間層86に特徴マップが生成される。続いて、畳み込み演算により得られた中間層86の特徴マップに対しプーリングの演算を行う。
続いて、重みフィルタを使用した畳み込み演算とプーリングの演算を各中間層86毎に繰り返すことで最後の中間層86まで特徴マップが生成され、本実施形態にあっては、任意の中間層86に生成された特徴マップを、入力画像の特徴量として再帰型ニューラルネットワーク80に入力している。
畳み込みニューラルネットワーク78は、図8に示した学習制御部18により学習データセット記憶部100に記憶された学習画像を入力して学習を行っており、この学習により、良く似た画像をグループ分けするクラスタリングされた特徴量をもつ画像を生成することができる。
(再帰型ニューラルネットワーク)
図9に示す再帰型ニューラルネットワーク80は、畳み込みニューラルネットワーク78を用いて抽出した画像の特徴量を、単語ベクトルと共に入力して行動説明文を予測する。
図9に示す再帰型ニューラルネットワーク80は、畳み込みニューラルネットワーク78を用いて抽出した画像の特徴量を、単語ベクトルと共に入力して行動説明文を予測する。
本実施形態の再帰型ニューラルネットワーク80は、時系列データ対応の深層学習モデルとなるLSTM-LM(Long Short-Term Memory-Langage Model)を使用している。
通常の再帰型ニューラルネットワークのモデルは、入力層、隠れ層、出力層で構成され、隠れ層の情報を次時刻の入力とすることで過去の経歴を利用した時系列解析をするモデルである。これに対しLSTMモデルは、過去の文脈となるt-1個の単語からt番目の単語として各単語が選ばれる確率を算出する。即ち、LSTMモデルは1時刻前の隠れ状態となる時刻1~t-1の単語情報、1時刻前の予測結果となる時刻t-1の単語、及び外部情報の3つを入力とし、逐次的に次の単語の予測を繰り返して文章を生成する。
図9の再帰型ニューラルネットワーク80は、畳み込みニューラルネットワーク78で抽出された画像の特徴ベクトルをLSTM隠れ層88に入力する行列に変換するLSTM入力層87、レジスタ90に単語単位に格納された単語S0~SN-1をベクトルWeS0~WeSN-1に変換するベクトル変換部92、N-1段のLSTM隠れ層88、LSTM隠れ層88の出力を出現確率p1~pNに変換する確率変換部94、単語を出力する確率からコスト関数logP1(s1)~logpN(SN)により算出してコストを最小化するコスト算出部96で構成される。
(再帰型ニューラルネットワークの学習)
再帰型ニューラルネットワーク80の学習対象は、ベクトル変換部92とLSTM隠れ層88であり、畳み込みニューラルネットワーク78からの特徴量の抽出には、学習済みのパラメータ(ウェイトとバイアス)をそのまま使用する。
再帰型ニューラルネットワーク80の学習対象は、ベクトル変換部92とLSTM隠れ層88であり、畳み込みニューラルネットワーク78からの特徴量の抽出には、学習済みのパラメータ(ウェイトとバイアス)をそのまま使用する。
学習データは、学習画像Iとその行動説明文の単語列{St}(t=0,・・・N)となり、次の手順で行う。
(1) 学習画像Iを畳み込みニューラルネットワーク78に入力し、特定の中間層86の出力を特徴ベクトルとして取り出す。
(2) 特徴ベクトルをLSTM入力層87からLSTM隠れ層88に入力する。
(3) 単語列Stをt=0からt=N-1まで順に入力し、それぞれのステップで確率pt+1を得る。
(4) 単語St+1を出力する確率pt+1(St+1)から求まるコストを最小化する。
(1) 学習画像Iを畳み込みニューラルネットワーク78に入力し、特定の中間層86の出力を特徴ベクトルとして取り出す。
(2) 特徴ベクトルをLSTM入力層87からLSTM隠れ層88に入力する。
(3) 単語列Stをt=0からt=N-1まで順に入力し、それぞれのステップで確率pt+1を得る。
(4) 単語St+1を出力する確率pt+1(St+1)から求まるコストを最小化する。
(画像説明文の生成)
学習済みの畳み込みニューラルネットワーク78と再帰型ニューラルネットワーク80を使用して入力画像の行動説明文を生成する場合には、畳み込みニューラルネットワーク78に監視区画から切り出した画像を入力して生成した特徴量のベクトルを再帰型ニューラルネットワーク80に入力し、単語の出現確率の積が高い順に単語列を並べて行動説明文を生成させる。この手順は次のようになる。
(1) 画像を畳み込みニューラルネットワーク78に入力し、特定の中間層86の出力を特徴ベクトルとして取り出す。
(2) 特徴ベクトルをLSTM入力層87からLSTM隠れ層88に入力する。
(3) 文の開始記号<S>を、ベクトル変換部92を使用してベクトルに変換し、LSTM隠れ層88に入力する。
(4) LSTM隠れ層88の出力から単語の出現確率が分かるので、上位M個(例えばM=20個)の単語を選ぶ。
(5) 1つ前のステップで出力した単語を、ベクトル変換部92を使用してベクトルに変換し、LSTM隠れ層88に入力する。
(6) LSTM隠れ層88の出力から、これまでに出力した単語の確率の積を求め、上位M個の単語列を選択する。
(7) 前記(5)と前記(6)の処理を、単語の出力が終端記号になるまで繰り返す。
学習済みの畳み込みニューラルネットワーク78と再帰型ニューラルネットワーク80を使用して入力画像の行動説明文を生成する場合には、畳み込みニューラルネットワーク78に監視区画から切り出した画像を入力して生成した特徴量のベクトルを再帰型ニューラルネットワーク80に入力し、単語の出現確率の積が高い順に単語列を並べて行動説明文を生成させる。この手順は次のようになる。
(1) 画像を畳み込みニューラルネットワーク78に入力し、特定の中間層86の出力を特徴ベクトルとして取り出す。
(2) 特徴ベクトルをLSTM入力層87からLSTM隠れ層88に入力する。
(3) 文の開始記号<S>を、ベクトル変換部92を使用してベクトルに変換し、LSTM隠れ層88に入力する。
(4) LSTM隠れ層88の出力から単語の出現確率が分かるので、上位M個(例えばM=20個)の単語を選ぶ。
(5) 1つ前のステップで出力した単語を、ベクトル変換部92を使用してベクトルに変換し、LSTM隠れ層88に入力する。
(6) LSTM隠れ層88の出力から、これまでに出力した単語の確率の積を求め、上位M個の単語列を選択する。
(7) 前記(5)と前記(6)の処理を、単語の出力が終端記号になるまで繰り返す。
このように行動判定部16は、監視カメラ14により撮像された監視画像に設定された監視区画の画像を切り出して解析することで、監視区画の備品使用権限をもたない第三者の異常行動を判定して報知することができる。
なお、本実施形態の畳み込みニューラルネットワーク78と再帰型ニューラルネットワーク80は教師なしの学習としても良いし、教師ありの学習としても良い。
[行動判定制御]
図10は図8の行動判定部による行動判定制御を示したフローチャートである。図10に示すように、行動判定部16はステップS31で監視カメラ14により撮像された監視領域の画像に対し、例えば図3に示したように、監視区画を設定する。
図10は図8の行動判定部による行動判定制御を示したフローチャートである。図10に示すように、行動判定部16はステップS31で監視カメラ14により撮像された監視領域の画像に対し、例えば図3に示したように、監視区画を設定する。
続いてステップS32に進み、行動判定部16は、クライアント装置24で管理しているオフィスルーム12の在室管理情報から在室者の有無を判別し、在室者なしが判別された場合はステップS33に進んで行動判定動作を休止し、一方、ステップS32で在室者ありが判別された場合はステップS34に進んで行動判定動作を開始し、ステップS35に進む。
行動判定部16は、ステップS35で例えば1分周期となる所定の監視タイミングへの到達を判別するとステップS36に進み、そのとき監視カメラ14により撮像されている動画のフレーム画像を監視画像として画像切出部44に保持し、監視画像から監視区画の画像を切り出して画像サイズを正規化し、ステップS37で畳み込みニューラルネットワーク78と再帰型ニューラルネットワーク80で構成される多層式ニューラルネットワーク46に入力して行動説明文を行動認識部76の判定器82に出力する。
判定器82はステップS38で行動説明文を構成する単語をソシーラス辞書84に登録されている異常行動判定単語と比較し、ステップS39で一部又は全部が異常行動判定単語と一致した場合にステップS40に進んで第三者による異常行動と判定し、ステップS41で例えば入退室管理設備のクライアント装置24や第三者の異常行動が判定された監視区画の利用者端末等に警報信号を送信して警報を報知させ、更に、ステップS42に進んで録画装置20に対し、異常行動の判定時点を含む例えば前後5分間の監視動画の再生を指示し、クライアント装置24又は利用者端末に送信して表示させる。
[学習制御]
図11は図8の学習制御部による在室者学習制御を示したフローチャートである。図11に示すように、学習制御部18の制御部52は、ステップS51でクライアント装置24の在室管理情報から監視区画に対し備品使用権限をもつ利用者(許可利用者)の在室を判別するとステップS52に進み、監視区画に配置されている利用者端末のLAN回線21への接続の有無を判別し、接続ありを判別すると利用者端末の使用開始を認識してステップS53に進む。このようなステップS51,S52の処理により制御部52は、備品使用権限のある利用者が出勤して業務を開始する始業時の行動を検出している。
図11は図8の学習制御部による在室者学習制御を示したフローチャートである。図11に示すように、学習制御部18の制御部52は、ステップS51でクライアント装置24の在室管理情報から監視区画に対し備品使用権限をもつ利用者(許可利用者)の在室を判別するとステップS52に進み、監視区画に配置されている利用者端末のLAN回線21への接続の有無を判別し、接続ありを判別すると利用者端末の使用開始を認識してステップS53に進む。このようなステップS51,S52の処理により制御部52は、備品使用権限のある利用者が出勤して業務を開始する始業時の行動を検出している。
ステップS53に進んだ制御部52は、例えば1分周期となる所定の切出しタイミングへの到達を判別するとステップS54に進み、監視区画の画像を切り出して画像サイズの正規化を行った後に、ステップS55で切出した画像中に人物があるか否か判別する。
ステップS55における切出し画像中の人物の判別は、例えば、人物不在時の背景画像を予め記憶し、切出した画像との差分をとり、差分画像の輝度値の総和が所定の閾値以上の場合に人物ありと判定すればよい。
制御部52は、ステップS55で切出し画像中に人物ありを判別した場合はステップS56に進み、例えば「利用者が利用者端末を操作している」といった許可利用者の行動説明文を生成し、ステップS58で監視区画画像と行動説明文のペアを学習データセットとして学習データセット記憶部100に記憶させる。
また、制御部52は、ステップS55で切出し画像中に人物なしを判別した場合はステップS57に進み、例えば「「利用者端末が机の上に配置されている」といった許可利用者のいない行動説明文を生成し、ステップS58で監視区画画像と行動説明文のペアを学習データセットとして学習データセット記憶部100に記憶させる。
このようなステップS53~S58の学習情報の記憶を、制御部52はステップS59で例えば10~15分といった所定の学習時間の経過を判別するまで繰り返す。
続いて、制御部52は、ステップS60で夜間や休日等などにおける行動判定部16の休止中を判別するとステップS61に進み、学習データセット記憶部100に記憶している監視区画画像と行動説明文のデータセットを読み出して畳み込みニューラルネットワーク78と再帰型ニューラルネットワーク80で構成される多層式ニューラルネットワークに入力し、入力画像から行動説明文が推定されるように多層式ニューラルネットワークのウェイトとバイアスを調整する学習制御をステップS62で行動判定部16の休止解除が判別されるまで繰り返す。
続いて、制御部52は、ステップS62で行動判定部16における行動判定動作の休止解除(起動)を判別するとステップS63に進んで多層式ニューラルネットワークの学習を中断又は終了し、ステップS51からの処理を繰り返す。
〔本発明の変形例〕
(在室者に応じた異常判定)
上記の第2実施形態では、異常判定した人物を人物特定部17で人物特定するようにしていたが、実施形態はこれに限らない。人物を特定したのち、当該人物に許可された行動かどうかを判定するようにしても良い。領域に通常存在する人物ごと、及び領域に通常存在しない人物について、異常と判定する行動となる異常行動判定単語に関する行動辞書を作成する。運用時、画像解析部または利用者画像と監視画像を比較により人物を特定する。画像解析部によって出力される人物の行動が、特定された人物における異常と判定する行動であるかどうかを判定する。これにより、その人物に許可されている行動か監視可能となる。例えば、通常の在室者ならPCの操作は問題ないが、通常の在室者でない場合は機密漏えいの可能性があるため警報を発する。部長は持ちだし可能だが社員持ち出し禁止のファイルを、社員が持ちだそうとする場合、警報を発する。
(在室者に応じた異常判定)
上記の第2実施形態では、異常判定した人物を人物特定部17で人物特定するようにしていたが、実施形態はこれに限らない。人物を特定したのち、当該人物に許可された行動かどうかを判定するようにしても良い。領域に通常存在する人物ごと、及び領域に通常存在しない人物について、異常と判定する行動となる異常行動判定単語に関する行動辞書を作成する。運用時、画像解析部または利用者画像と監視画像を比較により人物を特定する。画像解析部によって出力される人物の行動が、特定された人物における異常と判定する行動であるかどうかを判定する。これにより、その人物に許可されている行動か監視可能となる。例えば、通常の在室者ならPCの操作は問題ないが、通常の在室者でない場合は機密漏えいの可能性があるため警報を発する。部長は持ちだし可能だが社員持ち出し禁止のファイルを、社員が持ちだそうとする場合、警報を発する。
(学習機能)
上記の実施形態に示した在室監視装置は、行動判定部の多層式ニューラルネットワークを学習する学習制御部を備えた場合を例にとっているが、多層式ニューラルネットワークの学習は、学習機能を備えた別のコンピュータ設備を使用して行い、その結果得られた学習済みの多層式ニュートラルネットワークを行動判定部に実装して使用するようにしても良い。
上記の実施形態に示した在室監視装置は、行動判定部の多層式ニューラルネットワークを学習する学習制御部を備えた場合を例にとっているが、多層式ニューラルネットワークの学習は、学習機能を備えた別のコンピュータ設備を使用して行い、その結果得られた学習済みの多層式ニュートラルネットワークを行動判定部に実装して使用するようにしても良い。
(特徴抽出)
上記の実施形態は、畳み込みニューラルネットワークに画像を入力して通常在室している利用者の特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワーク又は再帰型ニューラルネットワークに入力して通常在室している利用者か否かや画像説明文を推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。
上記の実施形態は、畳み込みニューラルネットワークに画像を入力して通常在室している利用者の特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワーク又は再帰型ニューラルネットワークに入力して通常在室している利用者か否かや画像説明文を推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。
(学習方法について)
上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層式ニューラルネットワークの学習方法はこれに限らない。
上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層式ニューラルネットワークの学習方法はこれに限らない。
(入退室管理設備との連携)
上記の実施形態は、入退室管理設備で管理している在室管理情報を利用して行動判定部の動作と休止を制御しているが、これに限定されず、監視対象とする部屋に設置された人感センサにより在室の有無を判別して行動判定部の動作と休止を制御するようにしても良い。
上記の実施形態は、入退室管理設備で管理している在室管理情報を利用して行動判定部の動作と休止を制御しているが、これに限定されず、監視対象とする部屋に設置された人感センサにより在室の有無を判別して行動判定部の動作と休止を制御するようにしても良い。
(システム運用中の学習情報の記憶)
上記の実施形態は、監視区画における備品使用権限をもつ利用者の利用者端末の使用開始を検出した場合に、所定時間のあいだ監視区画の画像を切り出して学習情報として記憶させているが、これに限定されず、監視領域のセキュリティ-担当者等の利用者端末を使用した人為的な操作により、平日の就業時間帯に監視区画の画像を切り出して学習情報として記憶させるようにしても良い。
上記の実施形態は、監視区画における備品使用権限をもつ利用者の利用者端末の使用開始を検出した場合に、所定時間のあいだ監視区画の画像を切り出して学習情報として記憶させているが、これに限定されず、監視領域のセキュリティ-担当者等の利用者端末を使用した人為的な操作により、平日の就業時間帯に監視区画の画像を切り出して学習情報として記憶させるようにしても良い。
(その他)
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。
10:行動監視装置
12:オフィスルーム
14:監視カメラ
16:行動判定部
17:人物特定部
18:学習制御部
20:録画装置
21:LAN回線
22:入退室管理制御装置
23:センター装置
24:クライアント装置
25:入室カメラ
26:カードリーダ
28:電気錠
30:扉
32、32-1、32-10:利用者端末
34-1~34-12:監視区画
36:監視画像
44,50:画像切出部
46:多層式ニューラルネットワーク
48:時系列判定部
52:制御部
54:学習画像記憶部
55:操作部
56:表示部
58:特徴抽出部
60:認識部
62:入力画像
63,65a,65b:重みフィルタ
64a,64b,64c:特徴マップ
66,85:入力層
68:全結合
70,86:中間層
72:出力層
74:画像解析部
76:行動認識部
78:畳み込みニューラルネットワーク
80:再帰型ニューラルネットワーク
82:判定器
84:シソーラス辞書
87:LSTM入力層
88:LSTM隠れ層
90:レジスタ
92:ベクトル変換部
94:確率変換部
96:コスト算出部
100:学習データセット記憶部
12:オフィスルーム
14:監視カメラ
16:行動判定部
17:人物特定部
18:学習制御部
20:録画装置
21:LAN回線
22:入退室管理制御装置
23:センター装置
24:クライアント装置
25:入室カメラ
26:カードリーダ
28:電気錠
30:扉
32、32-1、32-10:利用者端末
34-1~34-12:監視区画
36:監視画像
44,50:画像切出部
46:多層式ニューラルネットワーク
48:時系列判定部
52:制御部
54:学習画像記憶部
55:操作部
56:表示部
58:特徴抽出部
60:認識部
62:入力画像
63,65a,65b:重みフィルタ
64a,64b,64c:特徴マップ
66,85:入力層
68:全結合
70,86:中間層
72:出力層
74:画像解析部
76:行動認識部
78:畳み込みニューラルネットワーク
80:再帰型ニューラルネットワーク
82:判定器
84:シソーラス辞書
87:LSTM入力層
88:LSTM隠れ層
90:レジスタ
92:ベクトル変換部
94:確率変換部
96:コスト算出部
100:学習データセット記憶部
Claims (4)
- 監視対象とする監視領域を撮像する撮像部と、
前記監視領域の画像を利用して学習された多層式ニューラルネットワークを備え、前記監視領域内の人物の異常行動を判定する行動判定部と、
前記行動判定部の多層式ニューラルネットワークの学習を行う学習制御部と、
が設けられ、
前記行動判定部は、前記監視領域内の在室に関する情報に基づき、判定動作の休止と起動を制御し、
前記学習制御部は、前記行動判定部の判定動作の休止から起動までの間の時間を利用して、前記行動判定部の多層式ニューラルネットワークの学習を行うことを特徴とする行動監視システム。
- 請求項1記載の行動監視システムであって、
前記行動判定部は、前記監視領域に設置された人感センサにより取得した監視領域内の在室に関する情報に基づき判定動作の休止と起動を制御することを特徴する行動監視システム。
- 請求項1又は2記載の行動監視システムであって、
前記行動判定部の多層式ニューラルネットワークは、前記監視領域の画像から切出された1又は複数の監視区画に存在する備品の画像及び備品使用権限をもつ利用者が備品を扱う画像により学習されることを特徴とする行動監視システム。
- 請求項3記載の行動監視システムであって、
前記行動判定部は、前記多層式ニューラルネットワークに入力された監視領域の画像から出力される前記備品使用権限をもつ利用者の行動を示す推定値及び前記備品の存在を示す推定値に基づき、前記監視領域内の人物の異常行動を判定することを特徴とする行動監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022113631A JP2022169507A (ja) | 2017-11-27 | 2022-07-15 | 行動監視システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017226573A JP7108395B2 (ja) | 2017-11-27 | 2017-11-27 | 行動監視システム |
JP2022113631A JP2022169507A (ja) | 2017-11-27 | 2022-07-15 | 行動監視システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017226573A Division JP7108395B2 (ja) | 2017-11-27 | 2017-11-27 | 行動監視システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022169507A true JP2022169507A (ja) | 2022-11-09 |
Family
ID=66973012
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017226573A Active JP7108395B2 (ja) | 2017-11-27 | 2017-11-27 | 行動監視システム |
JP2022113631A Pending JP2022169507A (ja) | 2017-11-27 | 2022-07-15 | 行動監視システム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017226573A Active JP7108395B2 (ja) | 2017-11-27 | 2017-11-27 | 行動監視システム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7108395B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11245543B2 (en) * | 2018-06-15 | 2022-02-08 | Microsoft Technology Licensing, Llc | Identifying abnormal usage of electronic device |
US11151412B2 (en) * | 2019-07-01 | 2021-10-19 | Everseen Limited | Systems and methods for determining actions performed by objects within images |
CN110351521A (zh) * | 2019-07-11 | 2019-10-18 | 中国工商银行股份有限公司 | 监控方法、监控装置、电子设备和介质 |
JP7353875B2 (ja) * | 2019-09-04 | 2023-10-02 | 株式会社東芝 | センサシステム、およびセンシング方法 |
JP2021091460A (ja) * | 2019-12-11 | 2021-06-17 | Eneos株式会社 | セルフ給油管理システム |
KR102255791B1 (ko) * | 2020-08-20 | 2021-05-25 | (주)루선트엔지니어링 | 콜로이드입자 제거를 위한 폐수 처리 설비 및 이를 갖는 폐수 처리 시스템 |
CN117315565A (zh) | 2023-08-31 | 2023-12-29 | 云南电网有限责任公司德宏供电局 | 基于增量时空学习的异常行为识别监测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0535707A (ja) * | 1991-07-25 | 1993-02-12 | Hitachi Ltd | ニユ−ラルネツトを利用したパタ−ン分類方法および装置 |
JP2004056473A (ja) * | 2002-07-19 | 2004-02-19 | Matsushita Electric Ind Co Ltd | 監視制御装置 |
JP2006325164A (ja) * | 2005-05-20 | 2006-11-30 | Sumitomo Osaka Cement Co Ltd | 監視装置及びソフトウエアプログラム |
JP2017138808A (ja) * | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP2017154725A (ja) * | 2015-04-21 | 2017-09-07 | パナソニックIpマネジメント株式会社 | 情報処理システム、情報処理方法、およびプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5088463B2 (ja) * | 2006-05-22 | 2012-12-05 | 日本電気株式会社 | 監視システム |
JP2009205594A (ja) * | 2008-02-29 | 2009-09-10 | Sogo Keibi Hosho Co Ltd | 警備装置および不審者判定方法 |
JP2009284167A (ja) * | 2008-05-21 | 2009-12-03 | Toshiba Tec Corp | 人物行動監視装置及び人物行動監視プログラム |
JP5529593B2 (ja) * | 2010-03-11 | 2014-06-25 | セコム株式会社 | 画像監視装置 |
JP2015187770A (ja) * | 2014-03-26 | 2015-10-29 | キヤノン株式会社 | 画像認識装置、画像認識方法及びプログラム |
-
2017
- 2017-11-27 JP JP2017226573A patent/JP7108395B2/ja active Active
-
2022
- 2022-07-15 JP JP2022113631A patent/JP2022169507A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0535707A (ja) * | 1991-07-25 | 1993-02-12 | Hitachi Ltd | ニユ−ラルネツトを利用したパタ−ン分類方法および装置 |
JP2004056473A (ja) * | 2002-07-19 | 2004-02-19 | Matsushita Electric Ind Co Ltd | 監視制御装置 |
JP2006325164A (ja) * | 2005-05-20 | 2006-11-30 | Sumitomo Osaka Cement Co Ltd | 監視装置及びソフトウエアプログラム |
JP2017154725A (ja) * | 2015-04-21 | 2017-09-07 | パナソニックIpマネジメント株式会社 | 情報処理システム、情報処理方法、およびプログラム |
JP2017138808A (ja) * | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019096179A (ja) | 2019-06-20 |
JP7108395B2 (ja) | 2022-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7108395B2 (ja) | 行動監視システム | |
KR100808316B1 (ko) | 인물 검색 장치, 인물 검색 방법 및 입퇴장 관리 시스템 | |
JP2018101317A (ja) | 異常監視システム | |
CN104794827A (zh) | 用于避免监视***中的假警报的方法和装置 | |
US20220415149A1 (en) | Artificial intelligence (ai)-based security systems for monitoring and securing physical locations | |
JP7054331B2 (ja) | 在室者監視システム | |
US11735017B2 (en) | Artificial intelligence (AI)-based security systems for monitoring and securing physical locations | |
US20230386305A1 (en) | Artificial Intelligence (AI)-Based Security Systems for Monitoring and Securing Physical Locations | |
JP4862518B2 (ja) | 顔登録装置、顔認証装置および顔登録方法 | |
CA3055600C (en) | Method and system for enhancing a vms by intelligently employing access control information therein | |
JP2002304651A (ja) | 入退室管理装置とその方法、およびこの方法の実行プログラムとこの実行プログラムを記録した記録媒体 | |
Rizki et al. | Image processing technique for smart home security based on the principal component analysis (PCA) methods | |
EP3109837A1 (en) | System and method of smart incident analysis in control system using floor maps | |
JP2004118359A (ja) | 人物認識装置、人物認識方法および通行制御装置 | |
KR101053475B1 (ko) | 출입통제시스템 및 방법 | |
Dirgantara et al. | Design of Face Recognition Security System on Public Spaces | |
KR101053474B1 (ko) | 출입통제시스템 및 방법 | |
Rao | Implementation of Low Cost IoT Based Intruder Detection System by Face Recognition using Machine Learning | |
Preetha et al. | Raspberry Pi based face recognition system | |
Rodelas et al. | Intruder detection and recognition using different image processing techniques for a proactive surveillance | |
Sigaravelu et al. | Image based theft detection with live streaming | |
Senthilkumar et al. | A Novel and Smart Administrative Door Lock and Open System using Face Recognition | |
Reddy et al. | Real time security surveillance using machine learning | |
KR20230007402A (ko) | 초인종 장치에서 주변 이미지 내의 사용자 맞춤형 관계자를 식별하기 위한 시스템 및 방법 | |
KR20040074242A (ko) | 디지털 영상 인식을 이용한 보안시스템 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230517 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231108 |