JP6750931B1 - デジタル・モーションフォーミュラ・セキュリティシステム、方法及びプログラム - Google Patents

Abstract

人を検出するに際して全体として人らしい形が存在するか否かを判定するのではなく、撮影画像から正確に人の存在を検出することができるデジタル・モーションフォーミュラ・セキュリティシステム、方法及びプログラムを提供する。デジタル・モーションフォーミュラ・セキュリティシステム（１０００）は、セキュリティ区域を撮影するカメラによって撮影された画像から人の候補を抽出する人抽出手段（１１１）と、該人抽出手段によって抽出された画像における人の候補を上肢又は下肢を含む複数のブロックに分割する分割手段（１１２）と、該分割手段によって分割されたそれぞれのブロックについて人であることの確からしさを判定するブロック判定手段（１１３）とを備える。

Description

本発明は、防犯等のために監視カメラによりセキュリティ区域内を撮影して人を検出するデジタル・モーションフォーミュラ・セキュリティシステム、方法及びプログラムに関する。

特許文献１には、「最も滑らかな領域を与えられて、その領域が人間の上体に似ているかどうかに関する判定を行う(動作250)。図示の例では、人間の上体に、大きい肩の上の小さい頭が含まれる。したがって、最も滑らかな領域が、幅広い部分(肩)の上に位置するほぼ楕円形の部分(頭)を有するかどうかに関する検査を行う。一実施形態では、この検査が、まず、隣接する水平線上での幅の最大の変化を見つけることによって首の部分を検出することによって行われる。その後、首の上の領域(頭領域)が、下側領域(肩領域)より小さい平均幅を有するかどうかに関する検査を行う。頭領域の幅対高さの比が、約1:1.2であるかどうかの検査も行う。これらの検査のすべてが真である場合に、検出された領域が、人間の上体のシルエットに似ていると判定される。」（段落００５６）と記載されている。特許文献１の技術は、会議室等における個人検出方法に関するものである。

特開２００３−２１６９５１号公報

従来、撮影画像から人を検出する場合は、特許文献１に記載されているように、画像の中に人らしい形（シルエット）が存在するか否かを判定していたために、全体として人らしい形が画像の中に存在するだけで人を検出したと判定してしまい、防犯等において誤り警報を出すことが多かった。
本発明者は、この誤りを分析した結果、監視カメラのレンズに雨滴、雪等が付着したり、洗濯物等が風にはためいて、それが色々と形を変えるうちに人と紛らわしくなることがあり、誤り警報を出すことが判明した。
図９は、その具体例を示す図である。図９は、カメラの撮影画像の具体例であり、実際には人がいないにもかかわらず、雨滴、雪等のために中央に人らしい形が見える。これが誤り警報の原因であることが分かった。
本発明の目的は、人を検出するに際して全体として人らしい形が存在するか否かを判定するのではなく、撮影画像から正確に人の存在を検出することができるデジタル・モーションフォーミュラ・セキュリティシステム、方法及びプログラムを提供することにある。

本発明に係るデジタル・モーションフォーミュラ・セキュリティシステムは、セキュリティ区域を撮影するカメラによって撮影された動画像における動きがある部分から人の候補を抽出する人抽出手段と、該人抽出手段によって抽出された動画像における人の候補を上肢又は下肢を含む複数の、人の特定の部位であるブロック（以下、単に「ブロック」という）に分割する分割手段と、前記動画像における動きの有る画素数と動画像全体の画素数との割合を求めた上で、該分割手段によって分割されたそれぞれのブロックの動きが人であることの確からしさを判定するブロック判定手段とを備えることを特徴とする。

この構成により、特に人を特徴付ける上肢又は下肢を含むブロック（人の特定の部位）について、そのブロックが人であることの確からしさを判定することによって、人の存在を確実に検出することができる。

さらに、前記人抽出手段は、動画像における動きがある部分から人の候補を抽出し、前記ブロック判定手段は、そのブロックの動きが人であることの確からしさを判定することで、人が人であることを特に特徴付ける人の各部位の動きを判定しているので、より正確に人を検出することができる。

前記人抽出手段は、カメラによって撮影された動画像をモノクロ２値画像に変換し、そのモノクロ２値動画像から人の候補を抽出することで、処理するデータ量を節約して、監視におけるリソースを低減して、低コスト化を図ることができる。

前記ブロック判定手段によって人であることが確からしいと判定された各ブロック相互の位置関係が人であることの確からしさを判定する位置関係判定手段
を更に備えることで、人が人であることを特徴付ける人の各部位の相互の位置関係をも判定しているので、より正確に人を検出することができる。

前記位置関係判定手段は、胴体に対する頭の左右の位置が人であることの確からしさを判定するものであることで、人が人であることを特に特徴付ける人の胴体に対する頭の左右の位置をも判定しているので、より正確に人を検出することができる。

また、本発明のデジタル・モーションフォーミュラ・セキュリティ方法は、セキュリティ区域を撮影するカメラによって撮影された動画像における動きがある部分から人の候補を抽出する人抽出ステップと、該人抽出ステップによって抽出された動画像における人の候補を上肢又は下肢を含む複数のブロックに分割する分割ステップと、前記動画像における動きの有る画素数と動画像全体の画素数との割合を求めた上で、該分割ステップによって分割されたそれぞれのブロックの動きが人であることの確からしさを判定するブロック判定ステップとを備えることを特徴とする。

また、本発明は、コンピュータを、セキュリティ区域を撮影するカメラによって撮影された動画像における動きがある部分から人の候補を抽出する人抽出手段と、該人抽出手段によって抽出された動画像における人の候補を上肢又は下肢を含む複数のブロックに分割する分割手段と、前記動画像における動きの有る画素数と動画像全体の画素数との割合を求めた上で、該分割手段によって分割されたそれぞれのブロックの動きが人であることの確からしさを判定するブロック判定手段とを備えるデジタル・モーションフォーミュラ・セキュリティシステムとして機能させるためのプログラムである。

本発明によれば、特に人を特徴付ける上肢又は下肢を含むブロック（人の特定の部位）について、そのブロックが人であることの確からしさを判定することによって、人の存在を確実に検出することができる。
さらに、前記人抽出手段は、動画像における動きがある部分から人の候補を抽出し、前記ブロック判定手段は、前記動画像における動きの有る画素数と動画像全体の画素数との割合を求めた上で、そのブロックの動きが人であることの確からしさを判定することで、人が人であることを特に特徴付ける人の各部位の動きを判定しているので、より正確に人を検出することができる。

本発明の実施の形態に係るデジタル・モーションフォーミュラ・セキュリティシステムの構成を示すブロック図である。 本発明の実施の形態に係るデジタル・モーションフォーミュラ・セキュリティシステムの監視装置の制御部のブロック図である。 本発明の実施の形態に係るデジタル・モーションフォーミュラ・セキュリティシステムの携帯端末装置を利用したシステムを示す構成図である。 本発明の実施の形態に係るデジタル・モーションフォーミュラ・セキュリティシステムのスマートフォンのセキュリティアプリ動作を示す図である。 本発明の実施の形態に係るデジタル・モーションフォーミュラ・セキュリティシステムの監視装置の制御部が動きの有無を判定する処理を説明する図である。 本発明の実施の形態に係るデジタル・モーションフォーミュラ・セキュリティシステムの監視装置の制御部が動きの有無を判定する処理を示すフローチャートである。 本発明の実施の形態に係るデジタル・モーションフォーミュラ・セキュリティシステムの制御部が体の各部位相互の位置関係が人であることの確からしさを判定する処理を説明する図である。 本発明の実施の形態に係るデジタル・モーションフォーミュラ・セキュリティシステムの制御部が体の各部位相互の位置関係が人であることの確からしさを判定する処理を示すフローチャートである。 カメラの撮影画像の具体例を示す図である。

以下、添付図面を参照しながら本発明を実施するための形態について詳細に説明する。
（実施の形態）
図１は、本発明の実施の形態に係るデジタル・モーションフォーミュラ・セキュリティシステムの構成を示すブロック図である。
本デジタル・モーションフォーミュラ・セキュリティシステムは、住居、企業の事務所、工場、研究所、情報処理室及び金銭集計室等の高度の管理を要する事業所等に適用して好適である。

図１に示すように、デジタル・モーションフォーミュラ・セキュリティシステム１０００は、セキュリティ区域に設置された複数の監視カメラ１１と、人感センサ２０と、セキュリティ区域内に設置されたＷｉ-Ｆｉ（Wireless Fidelity）ターミナル（以下「Ｗｉ-Ｆｉ親機」という）３０と、ビーコン親機４０と、関係者（家族）が携帯する携帯端末装置５０（ＩＤ（Identification）端末）と、システム全体を制御する監視装置１００と、ＡＩ（Artificial Intelligence：人工知能）アクセラレータ（Accelerator）２００と、を備える。セキュリティ区域は、警戒エリア（警備対象エリア）であり、例えば、住居であれば敷地、玄関先及びベランダ、オフィスであればエレベータホール、ベランダ及び窓などを含む。

なお、監視装置１００は、セキュリティ区域内に設置されているが、図示しないネットワークを介して外部に設置してもよい。監視装置１００を、ネットワーク上のサーバに設置すると、複数のセキュリティ区域を監視対象とすることができる。

＜監視カメラ１１＞
監視カメラ１１は、セキュリティ区域内の画像を撮影する。
監視カメラ１１の一部又は全部は、ＰＴＺ（パン・チルト・ズーム）機能を有するＰＴＺカメラであり、監視装置１００により遠隔操作される。監視カメラ１１は、セキュリティ該当建物の警備対象の外壁周囲、例えば侵入者が出入可能な出入口、窓開口部、敷地境界外周部及び該当敷地エリアの各所に設置される。監視カメラ１１が撮影した画像は、監視装置１００に出力され、録画部１６０に記録される。

＜人感センサ２０＞
人感センサ２０は、サーモカメラ又は赤外線カメラ等であり、セキュリティ区域内の感知対象物の温度を検出して、セキュリティ区域内の不審者を検出する。

＜Ｗｉ-Ｆｉ親機３０＞
Ｗｉ-Ｆｉ親機３０は、Ｗｉ-Ｆｉを用いて携帯端末装置５０のＷｉ-Ｆｉ子機５１との間で情報をやり取りする。また、Ｗｉ-Ｆｉ親機３０は、Ｗｉ-Ｆｉ測位による位置情報取得、すなわちＷｉ-Ｆｉアクセスポイントと所定の位置情報サービスを利用した位置情報を取得できる。

＜ビーコン親機４０＞
ビーコンは、Bluetooth Low Energyを利用した無線技術である。ビーコンは、発信側のビーコン機器であるビーコン親機４０と、ビーコン親機４０からの電波受信に対応した携帯端末装置５０のアプリ（後記ビーコン子機５２に対応する）の組み合わせによって構成される。ビーコンは、識別に必要な固有のＩＤ情報を発信し、携帯端末装置５０の当該ＩＤ情報に紐付けられたアプリにしか反応しない。携帯端末装置５０のアプリは、ビーコン親機４０と同じ識別子を登録しておく。携帯端末装置５０のアプリ（ビーコン子機５２）は、ビーコン機能を搭載したアプリケーション実行によりバックグラウンドで待機し、ビーコン親機４０のビーコンに近接したときに所定アクションを励起する。

［携帯端末装置５０］
携帯端末装置５０は、家族などがそれぞれ携帯する。携帯端末装置５０は、例えばスマートフォン５０ａ、タブレット５０ｂ、又はノートパソコン５０ｃなどである。携帯端末装置５０は、このほか、携帯電話、ＰＨＳ（Personal Handy-Phone System）、ＰＤＡ（Personal Digital Assistants）、又は専用端末などである。本実施の形態では、携帯端末装置５０は、家族などが様々な場所（すなわち現在位置）で使用可能であり、図示しない電話回線を介して監視装置１００からのメール又は動画を含む映像等を受信可能である。

本実施の形態では、携帯端末装置５０は、スマートフォン５０ａ（ＩＤ端末）の利用を想定しており、各個人が様々な場所（すなわち現在位置）で使用可能である。携帯端末装置５０のうちの一つは、図示しない警備会社に配置される。

スマートフォン５０ａは、デジタル・モーションフォーミュラ・セキュリティアプリ（以下、「セキュリティアプリ」という）を有する。セキュリティアプリを、例えば各アプリのバックグランド処理で起動させておくと、通信キャリア網（移動体通信網）、ウェブサービスクラウド３００（後記図３参照）、又はインターネット３０３（後記図３参照）を経由して、ウェブサービスクラウド３００上のクラウドサーバ３０１（後記図３参照）に接続でき、クラウドサーバ３０１から不審者に関するテキストを受け取ることができる。スマートフォン５０ａは、待受け画面等に不審者を検出したテキストを通知できる。

スマートフォン５０ａは、Ｗｉ-Ｆｉ個別識別機（以下「Ｗｉ-Ｆｉ子機」という）５１と、関係者の位置を捕捉するＧＰＳ５３と、を備える。
なお、スマートフォン５０ａは、ビーコン子機５２を備えているものでもよい。又は、スマートフォン５０ａは、Ｗｉ-Ｆｉ子機５１と、ビーコン子機５２と、ＧＰＳ５３とのいずれか一つを備えるものでもよい。

＜Ｗｉ-Ｆｉ子機５１＞
Ｗｉ-Ｆｉ子機５１は、業務施設に設置されたＷｉ-Ｆｉ親機３０の電波を受信及び個別識別する。監視装置１００は、施設内に設置されたＷｉ-Ｆｉ親機３０の配置情報をセフティ関連情報として記憶している。Ｗｉ-Ｆｉ子機５１がＷｉ-Ｆｉ親機３０に近接すると、携帯端末装置５０を携帯する関係者のＩＤと位置を判定することができる。

＜ビーコン子機５２＞
ビーコン子機５２は、ビーコン親機４０からの電波受信に対応した携帯端末装置５０のアプリである。ビーコン親機４０は、ビーコン（識別に必要な固有のＩＤ情報）を発信し、携帯端末装置５０のアプリ（ビーコン子機５２）は、ビーコン親機４０のビーコンに近接したときに所定アクションを励起する。

＜ＧＰＳ５３＞
ＧＰＳ５３は、位置情報の電波をＧＰＳ衛星等から受信する。ＧＰＳ５３は、ＧＰＳアンテナを介して受信した情報より、現在位置情報を、緯度、経度及び高度の３つのパラメータとして算出して位置情報を取得する。取得した位置情報は、適時、監視装置１００に送信される。

なお、本実施形態では、位置情報を取得する手段として、ＧＰＳ衛星を利用した例を示したが、ＧＰＳ以外の、基地局との位置関係を利用した方式でもよい。例えば、モバイル端末である携帯端末装置５０として、Ａｎｄｒｏｉｄ（登録商標）スマートフォンやカメラ付き高機能携帯電話機を使用する場合、ＧＰＳ５３に代えて又は併用して、基地局及び携帯電話通信網（図示省略）を介して携帯電話会社サーバと情報の送受信を行い、接近確認から自端末の現在位置情報を取得することも可能である。

また、Ｗｉ-Ｆｉ測位による位置情報取得、すなわちＷｉ-Ｆｉアクセスポイントと所定の位置情報サービスを利用した位置情報取得を用いてもよい。

［監視装置１００］
監視装置１００は、関係者（例えば家族）の住居、事業所等に設置され、セキュリティ区域内を集中管理する。監視装置１００は、一般的なサーバ計算機、又はパーソナルコンピュータ等であってよい。

監視装置１００は、制御部１１０と、入力部１２０と、記憶部１３０と、表示部１４０と、出力部１５０と、録画部１６０と、画像処理部１７０と、インタフェース（Ｉ／Ｆ）部１８０と、通信部１９０と、を備え、各部はバス１９５により接続される。

以降、「○○部は」と主体を記した場合は、制御部１１０が必要に応じＲＯＭから各プログラムを読み出した上でＲＡＭにロードし、各機能（後記）を実行するものとする。各プログラムは、予め記憶部１３０に記憶されていてもよいし、他の記憶媒体又は通信媒体を介して、必要なときに監視装置１００に取り込まれてもよい。

制御部１１０は、ＣＰＵ（Central Processing Unit）等により構成され、監視装置１００全体を制御するとともに、制御プログラムを実行して、デジタル・モーションフォーミュラ・セキュリティシステムとして機能させる。制御部１１０の詳細な構成については、後記する。

入力部１２０は、操作盤１２０ａを有し、キーボード、マウス、表示部１４０の画面上に設けられたタッチパネル又はマイクなど、監視装置１００のユーザが指示などを入力するための入力機器である。

記憶部１３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリからなり、制御部１１０が用いる各種データ及びプログラムなどを記憶する。記憶部１３０は、監視カメラ１１から受信した静止画又は動画、制御部１１０が用いる各種データ及びプログラムなどを記憶する。

表示部１４０は、監視装置１００の動作状況をはじめ、監視カメラ１１から受信した画像、又は監視装置１００を操作するためのＧＵＩ（Graphical User Interface）などを表示する。

出力部１５０は、例えばオーディオインタフェースであり、セキュリティ区域内の音響システム１５８に対して監視装置１００からの音声信号を出力する。監視装置１００から音響システム１５８へ出力する音声信号としては、例えば、入力部１２０に設けられたマイクなどの音声入力装置から入力された音声信号、又は記憶部１３０に記憶された音楽データを制御部１１０が再生した音声信号であってよい。音響システム１５８は、アンプ及び敷地内に配置された複数のスピーカを備え、監視装置１００から入力された信号を敷地内に発声する。

録画部１６０は、ＨＤＤ（Hard Disk Drive）などの外部記憶装置により構成され、監視カメラ１１が撮影したセキュリティ区域内の画像を記録する。録画部１６０は、撮影後所定の短時間は高画質で録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画すると共に高画質の撮影画像は消去し、制御部１１０が不審者を検出した時は、その時までの所定の短時間の高画質の撮影画像を保存する。

画像処理部１７０は、ＤＳＰ（Digital Signal Processor）等により構成され、受信した画像に対して予め定められた処理を行う。予め定められた処理には、輪郭抽出、画像のリサイズ、又は解像度変換処理などがある。

監視カメラ１１で１秒間に撮影する画像が例えば５コマの画像である場合、１／５秒画像、２／５秒画像、３／５秒画像、４／５秒画像及び５／５秒画像の動きで、対象物の外形形状線を入力すれば、動く対象物の大きさが分かる。
画像処理部１７０は、監視カメラ１１で撮影された画像データを処理し、セキュリティ区域内の画像から人の存在の有無を判定するために制御部１１０に送る。

Ｉ／Ｆ部１８０は、セキュリティ区域内に配置された各監視カメラ１１と監視装置１００とを接続する。また、Ｉ／Ｆ部１８０は、図示しない本部、本社又は警備会社などにネットワーク又は専用回線により接続する。
通信部１９０は、基地局を介して携帯端末装置５０とデータを送受信する。通信部１９０は、無線通信機能を有し、例えばＵＳＢ（Universal Serial Bus）を用いて制御基板に接続される。

［制御部１１０］
図２は、本発明の第１の実施の形態に係るデジタル・モーションフォーミュラ・セキュリティシステムの監視装置１００の制御部１１０のブロック図である。
図２に示すように、制御部１１０は、ＣＰＵ（Central Processing Unit）等により構成され、監視装置１００全体を制御するとともに、制御プログラムを実行して、デジタル・モーションフォーミュラ・セキュリティシステムとして機能させる。
制御部１１０は、人抽出部１１１（人抽出手段）と、分割部１１２（分割手段）と、ブロック判定部１１３（ブロック判定手段）と、位置関係判定部１１４（位置関係判定手段）と、を備える。

制御部１１０は、ブロック判定部１１３が画像における人の候補のブロック（上肢又は下肢などの部位）が人らしいと判定したことを受けて、不審者が存在すると判定する。
制御部１１０は、ブロック判定部１１３が、ブロックの動きが人らしいと判定したことを受けて、不審者が存在すると判定する。
制御部１１０は、人抽出部１１１が、画像をモノクロ２値画像に変換し、そのモノクロ２値画像から人の候補を抽出する。
制御部１１０は、位置関係判定部１１４が、各ブロック相互の位置関係が人らしいと判定したことを受けて、不審者が存在すると判定する。
制御部１１０は、位置関係判定部１１４が、胴体に対する頭の左右の位置が人らしいと判定したことを受けて、不審者が存在すると判定する。

制御部１１０は、撮影後所定の短時間は高画質で録画部１６０に録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画すると共に高画質の撮影画像は消去し、撮影方向の変化を検出した時は、その時までの所定の短時間の高画質の撮影画像は保存する。

制御部１１０は、ＡＩアクセラレータ２００（後記）を用いて撮影画像を分析してセキュリティ区域内の人を検出する。制御部１１０は、ＡＩアクセラレータ２００に対して人検出要求を発行し、ＡＩアクセラレータ２００は、ＣＰＵ以外でＡＩの計算を実行して、人検出結果を人抽出部１１１に送信する。人検出には高速性が求められるので、人検出にＡＩアクセラレータ２００を用いている。

本実施形態では、制御部１１０は、ＡＩアクセラレータ２００を用いて人を検出しているが、サーモカメラ（又は人感センサ２０）で人を検出するようにしてもよい。すなわち、人感センサ２０は、セキュリティ区域内の温度を検出する。そして、制御部１１０は、人感センサ２０が人の体温を検出し、かつ、監視カメラ１１がその撮影画像の変化を検出したことによって人（不審者候補）の存在を検出する。

なお、制御部１１０は、ＡＩアクセラレータ２００を用いた人検出と、サーモカメラ（又は人感センサ）を用いた人検出とを組み合わせてもよい。例えば、セキュリティ区域内のうち、人検出の高速性が要求される、玄関先やベランダ、窓についてはＡＩアクセラレータ２００を用い、人検出の高速性が要求されない敷地と外部の境界の敷地内はサーモカメラ（又は人感センサ）を使用する。

人抽出部１１１は、ＡＩアクセラレータ２００を用いて、セキュリティ区域を撮影するカメラによって撮影された画像をモノクロ２値画像に変換し、そのモノクロ２値画像から人の候補を抽出する。これは特許文献１に記載されているような従来の方法によって実現できる。

分割部１１２は、ＡＩアクセラレータ２００を用いて、人抽出部１１１によって抽出された画像における人の候補を上肢又は下肢を含む複数のブロックに分割する。ブロックは、頭、胴体、上肢又は下肢などの人の体の部位である。特に上肢及び下肢は人を特徴付ける形状を有するので重要である。

ブロック判定部１１３は、ＡＩアクセラレータ２００を用いて、分割部１１２によって分割されたそれぞれの部位の形及び動きについて人であることの確からしさを判定する。
位置関係判定部１１４は、ＡＩアクセラレータ２００を用いて、ブロック判定部１１３によって人であることが確からしいと判定された各ブロック相互の位置関係、例えば胴体に対する頭の左右の位置関係などが人であることの確からしさを判定する。

なお、本実施形態では、人検出の各処理にＡＩアクセラレータ２００を使っているが、ＣＰＵ処理（制御部１１０の制御プログラム実行）で行ってもよい。

［ＡＩアクセラレータ２００］
ＡＩアクセラレータ２００は、人を検出する専用プロセッサであり、ＣＰＵ以外の計算リソースを用いる。ＡＩアクセラレータ２００は、例えば、ＧＰＵ（Graphics Processing Unit）を強化したプロセッサよる画像処理、ＦＰＧＡ（Field-Programmable Gate Array）を用いた信号処理のアクセラレートである。また、ＡＩアクセラレータ２００は、専用ハード（例えば、ＧＰＵ）上でＡＩ（Artificial Intelligence：人工知能）の計算を実行する。

通常のＰＣによるコンピュータの処理では、デジタル画像一枚あたり人（人体）の検出の処理を行うのに約１．５秒かかる。このため、本実施形態では、人の検出プロセッサであるＡＩアクセラレータ２００を利用することで、ＰＣによるコンピュータの処理の約１０倍のパフォーマンスを得、侵入検出を迅速に実行する。また、本実施形態では、計算負荷が高いＡＩの計算を専用ハードであるＡＩアクセラレータ２００に任せている。これにより、市販のカメラと安価な機器用いた構成であっても、リアルタイムにほとんど誤りなく人を検出可能であることが実証できた。

［デジタル・モーションフォーミュラ・セキュリティシステム］
図３は、本発明の実施形態に係る携帯端末装置５０を利用したデジタル・モーションフォーミュラ・セキュリティシステムを示す構成図である。
図３に示すように、デジタル・モーションフォーミュラ・セキュリティシステム１０００は、ウェブサービスクラウド３００上に、デジタル・モーションフォーミュラ・セキュリティサービスを提供するクラウドサーバ（商用サーバ）３０１、クラウドサーバ３０１に連携して能動的に情報を取得してユーザのスマートフォン５０ａ（携帯端末装置；ＩＤ端末）に通知するＰｕｓｈ通知サーバ３０２を有する。ウェブサービスクラウド３００は、インターネット３０３に接続される。スマートフォン５０ａは、インターネット３０３を経由してウェブサービスクラウド３００上のクラウドサーバ３０１にテキスト及び画像を送信することができる。また、スマートフォン５０ａは、インターネット３０３を経由してＰｕｓｈ通知サーバ３０２からＰｕｓｈ通知を受信する。さらに、クラウドサーバ３０１及びＰｕｓｈ通知サーバ３０２は、ＬＴＥ／３Ｇ網などの通信キャリア網（移動体通信網）（図示省略）を経由して、セキュリティアプリが搭載されたスマートフォン５０ａに接続する。

図３に示すように、デジタル・モーションフォーミュラ・セキュリティシステム１０００は、不審者の敷地内への侵入を検知し、本人・家族等が所持するスマートフォン５０ａにプッシュ通知する。
スマートフォン５０ａに来た通知をユーザがタップすると、セキュリティアプリが起動して不審者のズーム画面を表示し、「１Ｆ玄関にて不審者が検知されました」というテロップが流れる。同時にその内容が音声で読み上げられる。このように、スマートフォン５０ａの画面のテロップと音声とで不審者の通知が行われる。さらに、スマートフォン５０ａユーザの操作により、例えば緊急時には関係機関（警察・消防）に通知する。この場合、警備会社や関係企業本社にも自動的に通知される。また、緊急性がない場合や確認したい場合には、警備会社のみに通知する。

［セキュリティアプリ動作］
図４は、スマートフォン５０ａのセキュリティアプリ動作を示す図である。
図４左に示すように、スマートフォン５０ａの待受け画面等に不審者を検出したテロップが通知される。ユーザのタップにより、図４中に示すように、スマートフォン５０ａの表示はセキュリティアプリ動作表示に切り替わり、不審者のズーム画面を表示し、不審者の位置と状況「１Ｆ玄関に不審者」を表示する。また、このテロップを自動音声で読み上げる。さらに、ユーザのタップにより、図４右に示すように、スマートフォン５０ａの表示を時系列の４画面に表示する。

以下、上述のように構成されたデジタル・モーションフォーミュラ・セキュリティシステムの動作について説明する。

［動体判定処理］
図５は、デジタル・モーションフォーミュラ・セキュリティシステムの監視装置１００の制御部１１０が動きの有無を判定する処理を説明する図である。図６は、その処理を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図２参照）により実行される。

ステップＳ１で、制御部１１０は、デジタルカメラからコンピュータの処理能力に合わせて0.2秒毎等に画像を得る。
ステップＳ２で、制御部１１０は、ＡＩアクセラレータ２００で人抽出を行い、画像全体から人抽出された場所の矩形を切り出す。
ステップＳ３で、人抽出された矩形から上肢と下肢などの各ブロック（部位）を囲む矩形の画像を切り出す。
ステップＳ４で、上記ブロックを囲む矩形の画像のサイズをコンピュータの処理能力に合わせて300×300ドット等に変換して圧縮する。普通は長方形である矩形を１辺の長さが300ドットの大きさの正方形に変換することになる。これによって処理に要する時間を少なく、かつ、一定にする。
ステップＳ５で、色情報を削除して白黒濃淡の画像に変更する（モノクロ画像変換、各ドットは０〜255の値とする。図５「(2)現行世代のもの」では例えば120）。これによってドット当たりの情報量を減らす。

ステップＳ６で、保存しておいた１世代前の画像（図５「(1)１世代前のもの」では例えば３）を比較対象とし、ドット毎に比較する。
ステップＳ７で、ドット(1,1)の差分をとり、負の数なら正に直す。ドット(1,2)の差分をとり、負の数なら正に直す。・・・ドット(n,n)の差分をとり、負の数なら正に直す。
ステップＳ８で、各ドットは、０〜255の値となっている。
ステップＳ９で、それら０〜255の値が、０〜３までの値ならば０とし、４〜255までの値ならば255とする（モノクロ２値画像変換、図５「(3)動きの有無を判定した結果」では例えば120−３＝127ならば255となる）。
ステップＳ１０で、０と255の値のうち、値が255となったドットの数をＭとする。

ステップＳ１１で、動きの有る画素数と画像全体の画素数との割合（％）を次式により求める。
Ｍ ÷ 90,000 × 100 （１）
例えばＭが14,000だとすると評価値はＭ÷90,000×100＝14,000÷90,000×100≒１５である。この数値を図５に示すように表示部１４０に表示してもよい。
ステップＳ１２で、上で求めた割合を誤抽出防止パラメータ設定値の１０％等と比較する。
ステップＳ１３で、上で求めた割合は１０％等以上かを判断する。
ステップＳ１３で、割合が１０％以上であり、Ｙｅｓの場合は、ステップＳ１４で、人抽出は正常と判定する。
ステップＳ１３で、割合が１０％以上ではなく、Ｎｏの場合は、ステップＳ１５で、人抽出は誤抽出であると判定する。
これによって、動きのないブロック（部位）は、人のブロックではないと判定し、動きのあるブロックは、人のブロックであると判定する。

［各部位相互の位置関係判定処理］
次に、デジタル・モーションフォーミュラ・セキュリティシステムの体の各部位相互の位置関係を判定する処理について説明する。
図７は、デジタル・モーションフォーミュラ・セキュリティシステムの監視装置１００の制御部１１０が体の各部位相互の位置関係が人であることの確からしさを判定する処理を説明する図である。図８は、その処理を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図２参照）により実行される。

ここでは、顔器官検出と骨格検出により顔、上肢の上腕・前腕、胴体、下肢などの各ブロックを検出し、その中の顔の位置及び上腕・前腕の位置・角度を特定し、各ブロックが体全体のブロックに対して人らしい位置にあるかを判定して人間としての確からしさを評価することで、誤検出を抑制する。

ステップＳ２１で、制御部１１０は、デジタルカメラからコンピュータの処理能力に合わせて0.2秒毎等に画像を得る。
ステップＳ２２で、制御部１１０は、ＡＩアクセラレータ２００で人抽出を行い、画像の人抽出された場所を抽出された分だけ矩形に切り出す。これにより体全体のブロックを得る。
ステップＳ２３で、ＡＩアクセラレータ２００により切り出した画像の中で顔器官抽出により顔抽出を行う。これにより顔のブロックを得る。
ステップＳ２４で、ＡＩアクセラレータ２００により切り出した画像の中で骨格抽出により上腕・前腕、胴体、下肢抽出を行う（ＡＩによる骨格抽出）。これにより顔以外のブロックを得る。
ステップＳ２５で、顔、腕等の部位が抽出されたかを判断する。
ステップＳ２５で、部位が抽出されず、Ｎｏの場合は、ステップＳ４１に進む。
ステップＳ２５で、部位が抽出され、Ｙｅｓの場合は、ステップＳ２６に進む。

ステップＳ２６で、顔の矩形座標（左限界Ｘ０、右限界Ｘ１、上限界Ｙ０、下限界Ｙ１）を得る。
ステップＳ２７で、左右の顔の標準位置を顔の幅が体の幅の１／３で体の中心にあるとして設定する。
ステップＳ２８で、上下の顔の標準位置を体高に対して上限を１／９、下限を２／９として設定する。
ステップＳ２９で、顔の矩形座標値を顔の標準の位置と比較し、標準位置からの隔たりを評価する。具体的には例えば、図７に示すように、顔の標準位置からのＸ軸方向の隔たりを評価する。さらに、顔の標準位置からのＹ軸方向の隔たりを評価する。
ステップＳ３０で、左限界Ｘ０のＸ軸方向の隔たりを０〜100%で評価する。具体的には例えば、図７に示すように、左限界値Ｘ０のＸ軸方向の隔たり：５５％。

ステップＳ３１で、右限界Ｘ１のＸ軸方向の隔たりを０〜100%で評価する。具体的には例えば、図７に示すように、右限界値Ｘ１のＸ軸方向の隔たり：９７％。
ステップＳ３２で、上限界Ｙ０のＹ軸方向の隔たりを０〜100%で評価する。具体的には例えば、図７に示すように、上限界値Ｙ０のＹ軸方向の隔たり：８５％。
ステップＳ３３で、下限界Ｙ１のＹ軸方向の隔たりを０〜100%で評価する。具体的には例えば、図７に示すように、下限界値Ｙ１のＹ軸方向の隔たり：９９％。
ステップＳ３４で、上で得た４個の評価値を合計して４で割ったものを評価値とする。具体的には例えば、図７に示すように、顔評価値：（５５＋９７＋８５＋９９）÷４＝８４％。この数値を図７に示すように表示部１４０に表示してもよい。
ステップＳ３５で、腕の上腕・前腕の位置・角度を取得し、人間の腕としての確からしさを評価する。

ステップＳ３６で、右腕の確からしさを０〜100%で評価する。具体的には例えば、図７に示すように、右腕の確からしさ：８７％。
ステップＳ３７で、左腕の確からしさを０〜100%で評価する。具体的には例えば、図７に示すように、左腕の確からしさ：９９％。
ステップＳ３８で、上で得た２個の評価値を合計して２で割ったものを評価値とする。具体的には例えば、図７に示すように、腕評価値：（８７＋９９）÷２＝９３％。
ステップＳ３９で、評価値を誤抽出防止パラメータ設定値の５０％等と比較する。

ステップＳ４０で、評価値は５０％等以上かを判断する。
ステップＳ４０で、評価値が５０％等以上であり、Ｙｅｓの場合は、ステップＳ４１で、人抽出は正常と判定する。
ステップＳ４０で、評価値が５０％等以上ではなく、Ｎｏの場合は、ステップＳ４２で、人抽出は誤抽出であると判定する。
図７の例では、８４％＞５０％、かつ、９３％＞５０％となるので、人抽出は正常である。

以上詳細に説明したように、本実施の形態によれば、デジタル・モーションフォーミュラ・セキュリティシステム１０００（図１参照）は、セキュリティ区域を撮影するカメラによって撮影された画像から人の候補を抽出する人抽出部１１１と、該人抽出部によって抽出された画像における人の候補を上肢又は下肢を含む複数のブロックに分割する分割部１１２と、該分割部によって分割されたそれぞれのブロックについて人であることの確からしさを判定するブロック判定部１１３とを備える。

この構成により、ブロック判定部１１３が分割されたそれぞれのブロックについて人であることの確からしさを判定しており、特に人を特徴付ける上肢又は下肢を含むブロック（人の特定の部位）について、そのブロックが人であることの確からしさを判定することによって、人の存在を確実に検出することができる。

本実施形態では、デジタル・モーションフォーミュラ・セキュリティシステム１０００は、ブロック判定部１１３がそのブロックの動きが人であることの確からしさを判定する。これにより、人が人であることを特に特徴付ける人の各部位の動きを判定しているので、より正確に人を検出することができる。

本実施形態では、デジタル・モーションフォーミュラ・セキュリティシステム１０００は、人抽出部１１１が、画像をモノクロ２値画像に変換し、そのモノクロ２値画像から人の候補を抽出する。これにより、処理するデータ量を節約して、監視におけるリソースを低減して、低コスト化を図ることができる。

本実施形態では、デジタル・モーションフォーミュラ・セキュリティシステム１０００は、位置関係判定部１１４が、各ブロック相互の位置関係が人らしいと判定したことを受けて、不審者が存在すると判定する。これにより、人が人であることを特徴付ける人の各部位の相互の位置関係をも判定しているので、より正確に人を検出することができる。

本実施形態では、デジタル・モーションフォーミュラ・セキュリティシステム１０００は、位置関係判定部１１４が、胴体に対する頭の左右の位置が人らしいと判定したことを受けて、不審者が存在すると判定する。これにより、人が人であることを特に特徴付ける人の胴体に対する頭の左右の位置をも判定しているので、より正確に人を検出することができる。

本実施形態では、デジタル・モーションフォーミュラ・セキュリティシステム１０００は、制御部１１０が、関係者として登録されている端末（Ｗｉ-Ｆｉ子機５１又はビーコン子機５２など）を検出した場合には、その端末を所持している人を不審者から除外する。登録端末を所持している人を不審者から除外することで、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。

本実施形態では、制御部１１０は、セキュリティ区域内で人の出入りが激しい所定の時間帯では不審者判定を解除する。セキュリティ区域内で人の出入りが激しい所定の時間帯では不審者判定を解除することで、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。

本実施形態では、デジタル・モーションフォーミュラ・セキュリティシステム１０００は、監視領域へ侵入者に対して、通常の警戒と、よりレベルの高いランクの警戒を通知することで、住居の所有者は対応した動作を行え、より高い精度での脅威の排除ができる。

本実施形態では、デジタル・モーションフォーミュラ・セキュリティシステム１０００は、ＣＰＵ以外の計算リソースであるＡＩアクセラレータ２００を備え、制御部１１０の人抽出部１１１は、ＡＩアクセラレータ２００を用いて、セキュリティ区域内の人を検出する。ＡＩアクセラレータ２００は、ＣＰＵ処理とは別に人の検出処理を専用ハードで実行することで、広範なセキュリティ区域内に存在する人を実時間で検出することができる。また、安価なカメラ機器用いた構成であっても、リアルタイムで人を検出することができる。
また、ＡＩアクセラレータ２００であることで、従来の監視カメラによる人体検出に比べて極めて高い精度での侵入者の検出を行うことができる。

本実施形態では、デジタル・モーションフォーミュラ・セキュリティシステム１０００は、監視カメラ１１の撮影画像を録画する録画部１６０を備え、録画部１６０は、撮影後所定の短時間は高画質で録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画すると共に高画質の撮影画像は消去し、制御部１１０が不審者を検出した時は、その時までの所定の短時間の高画質の撮影画像を保存する。これにより、デジタル・モーションフォーミュラ・セキュリティ制御上、必要とされる高画質の撮影画像は記録しつつ、時間経過後は低画質で記録して、記録手段のリソースを低減することができる。

以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。

また、上記実施の形態ではデジタル・モーションフォーミュラ・セキュリティシステム及び方法という名称を用いたが、これは説明の便宜上であり、監視システム、セキュリティシステム、サーチ・セキュリティ方法等であってもよい。

また、本発明のデジタル・モーションフォーミュラ・セキュリティシステム及び方法は、コンピュータを本デジタル・モーションフォーミュラ・セキュリティシステム又は方法として機能させるためのプログラムでも実現される。このプログラムは、コンピュータで読み取り可能な記録媒体に格納されていてもよい。

このプログラムを記録した記録媒体は、本デジタル・モーションフォーミュラ・セキュリティシステムのＲＯＭそのものであってもよいし、また、外部記憶装置としてＣＤ−ＲＯＭドライブ等のプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等であってもよい。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣ（Integrated Circuit）カード、ＳＤ（Secure Digital）カード、光ディスク等の記録媒体に保持することができる。

本明細書で引用したすべての刊行物、特許及び特許出願は、そのまま参考として、ここにとり入れるものとする。

本発明に係るデジタル・モーションフォーミュラ・セキュリティシステム、方法及びプログラムは、住居、企業の事務所、工場、研究所、情報処理室、金銭集計室等の高度の管理を要する事業所等への設置が期待される。さらに、住宅、商業施設、事務所、病院、ホテル、金融機関、工場、研究所、発電所、エアーターミナル、集会場、イベントホール、競技場、美術館等の建物屋内外、交通機関の電車、フェリー、飛行機の車内等も対象である。

１１ 監視カメラ
２０ 人感センサ
３０ Ｗｉ-Ｆｉ親機
４０ ビーコン親機
５０ 携帯端末装置（ＩＤ端末）
５０ａ スマートフォン（携帯端末装置；ＩＤ端末）
５１ Ｗｉ-Ｆｉ子機
５２ ビーコン子機
５３ ＧＰＳ
１００ 監視装置
１１０ 制御部
１１１ 人抽出部（人抽出手段）
１１２ 分割部（分割手段）、
１１３ ブロック判定部（ブロック判定手段）
１１４ 位置関係判定部（位置関係判定手段）
１２０ 入力部
１２０ａ 操作盤
１３０ 記憶部
１４０ 表示部
１５０ 出力部
１６０ 録画部
１７０ 画像処理部
１８０ インタフェース（Ｉ／Ｆ）部
１９０ 通信部
２００ ＡＩアクセラレータ
１０００ デジタル・モーションフォーミュラ・セキュリティシステム

Claims (6)

1. セキュリティ区域を撮影するカメラによって撮影された動画像における動きがある部分から人の候補を抽出する人抽出手段と、
   該人抽出手段によって抽出された動画像における人の候補を上肢又は下肢を含む複数の、人の特定の部位であるブロック（以下、単に「ブロック」という）に分割する分割手段と、
   前記動画像における動きの有る画素数と動画像全体の画素数との割合を求めた上で、該分割手段によって分割されたそれぞれのブロックの動きが人であることの確からしさを判定するブロック判定手段と
   を備えることを特徴とするデジタル・モーションフォーミュラ・セキュリティシステム。
2. 前記人抽出手段は、カメラによって撮影された動画像をモノクロ２値動画像に変換し、そのモノクロ２値動画像から人の候補を抽出することを特徴とする請求項１記載のデジタル・モーションフォーミュラ・セキュリティシステム。
3. 前記ブロック判定手段によって人であることが確からしいと判定された各ブロック相互の位置関係が人であることの確からしさを判定する位置関係判定手段
   を更に備えることを特徴とする請求項１又は２記載のデジタル・モーションフォーミュラ・セキュリティシステム。
4. 前記位置関係判定手段は、胴体に対する頭の左右の位置が人であることの確からしさを判定するものであることを特徴とする請求項３記載のデジタル・モーションフォーミュラ・セキュリティシステム。
5. セキュリティ区域を撮影するカメラによって撮影された動画像における動きがある部分から人の候補を抽出する人抽出ステップと、
   該人抽出ステップによって抽出された動画像における人の候補を上肢又は下肢を含む複数のブロックに分割する分割ステップと、
   前記動画像における動きの有る画素数と動画像全体の画素数との割合を求めた上で、該分割ステップによって分割されたそれぞれのブロックの動きが人であることの確からしさを判定するブロック判定ステップと
   を備えることを特徴とするデジタル・モーションフォーミュラ・セキュリティ方法。
6. コンピュータを、
   セキュリティ区域を撮影するカメラによって撮影された動画像における動きがある部分から人の候補を抽出する人抽出手段と、該人抽出手段によって抽出された動画像における人の候補を上肢又は下肢を含む複数のブロックに分割する分割手段と、前記動画像における動きの有る画素数と動画像全体の画素数との割合を求めた上で、該分割手段によって分割されたそれぞれのブロックの動きが人であることの確からしさを判定するブロック判定手段とを備えることを特徴とするデジタル・モーションフォーミュラ・セキュリティシステム
   として機能させるためのプログラム。
   

Images