JP6867153B2 - 異常監視システム - Google Patents

Description

本発明は、監視カメラで撮像した監視領域の画像からニューラルネットワークにより火災や盗難を判断して警報させる異常監視システムに関する。

従来、煙感知器や熱感知器など、特定の物理量を監視するセンサを用いて、火災を判定するシステムが実用化されている。

一方、監視カメラで撮像した監視領域の画像に対し画像処理を施すことにより、火災を検知するようにした様々な装置やシステムが提案されている。

また、人感センサや監視カメラを用いて侵入や犯罪行為の監視を行うなど、防犯分野に於いても様々な装置やシステムが提案されている。

このような防災、防犯に関するシステムにあっては、異常に対する初期対応の観点から異常の早期発見が重要である。

このため従来装置（特許文献１）にあっては、画像から火災に伴う煙により起きる現象として、透過率又はコントラストの低下、輝度値の特定値への収束、輝度分布範囲が狭まって輝度の分散の低下、煙による輝度の平均値の変化、エッジの総和量の低下、低周波帯域の強度増加を導出し、これらを総合的に判断して煙の判定を可能としている。

特開２００８−０４６９１６号公報 特開平７−２４５７５７号公報 特開２０１０−２３８０２８号公報 特開平６−３２５２７０号公報

しかしながら、従来の火災に伴う煙の画像から火災を検知する異常監視システムにあっては、煙の画像における透過率、コントラスト、エッジ等の煙の特徴量を予め定め、監視カメラで撮像した画像を処理することで煙による特徴を生成しなければならず、火災による煙の発生状況は多種多様であり、その中に煙としてどのような特徴があるかを見出すことは極めて困難であり、決め手となる特徴がなかなか見いだせないため、監視画像から火災による煙を精度良く判断して火災警報を出力する異常監視システムは実用化の途上にある。

また、監視カメラにより侵入や犯罪行為を監視するシステムにあっては、実用化はなされているものの、現場の明暗等の状況により監視精度が左右されるなど、改善の余地がある。

一方、近年にあっては、例えば多数の猫と犬の画像にラベル付けをし、それを畳み込みニューラルネットワークを備えた多層式のニューラルネットワークに学習させ、所謂ディープラーニングを行い、新たな画像を学習済みの多層式のニューラルネットワークに提示し、それが猫なのか犬なのかを判定する技術が開示されている。

また、ディープラーニングは画像解析のみにとどまらず、自然言語処理や行動解析等に用いることが検討されている。

このような多層式のニューラルネットワークを、監視カメラで撮像した監視領域の画像を入力情報とし、入力情報から異常を判定する異常判定器に設け、学習時においては多数の異常時及び非異常時の入力画像を準備して多層式のニューラルネットワークに学習させ、監視時においては入力画像を学習済みの多層式のニューラルネットワークに入力すれば、その出力から異常か否かを高い精度で推定して警報を出力させる異常監視システムが構築可能となる。

ところで、人は監視カメラで撮像された画像を見た場合、それがどのような画面かを簡単に説明し、火災や盗難といった状況を判断することができる能力をもつが、これに相当する能力は、多層式のニューラルネットワークによっても実現可能であり、この技術を火災や盗難等の異常監視に利用すれば、監視カメラから監視画像を入力した場合に十分に高い精度で火災や盗難を推定して警報することが期待できる。

本発明は、監視カメラから入力した画像から画像説明文を生成して火災や盗難等の異常を高精度に判定して警報可能とする異常監視システムを提供することを目的とする。

（異常監視システム１）
本発明は、撮像部により撮像された監視領域の画像を入力して異常を判定する異常監視システムに於いて、
撮像部により撮像された監視領域の画像の中の変化のあった画像部分を抽出する画像抽出部と、
画像抽出部で抽出された画像部分を解析し、画像に含まれる要素を単語として、当該単語を元に画像説明文を生成して出力する多層式のニューラルネットワークで構成された画像解析部と、
画像解析部から出力された画像説明文に含まれる単語を辞書に予め記憶した所定の異常を示す単語と比較して異常を判定した場合に、異常判定信号を出力して警報させ、画像解析部から出力された画像説明文と共に抽出した画像部分を強調した監視領域の画像をモニタ部に表示させる異常判定部と、
が設けられたことを特徴とする。

（異常監視システム２）
本発明の別の形態にあっては、撮像部により撮像された監視領域の画像を入力して異常を判定する異常監視システムに於いて、
撮像部により撮像された画像を解析し、画像に含まれる要素を単語として、当該単語を元に画像説明文を生成して出力する多層式のニューラルネットワークで構成された画像解析部と、
画像解析部から出力された画像説明文に含まれる単語を辞書に予め記憶した所定の異常を示す単語と比較して異常を判定した場合に、異常判定信号を出力して警報させ、画像解析部から出力された画像説明文と共に異常を判定された要素となる部分を強調した監視領域の画像をモニタ部に表示させる異常判定部と、
が設けられたことを特徴とする。

（ＳＶＯ形式等による異常の比較判定）
異常判定部は、画像解析部から出力された画像説明文を主語（Ｓ）、動詞（Ｖ）、目的語（Ｏ）及び又は補語（Ｃ）に分類し、辞書に記憶された所定の異常を示す主語、動詞、目的語及び又は補語と比較して、一致又は類似した場合に異常を判定する。

（総合的な学習を行ったニューラルネットワーク）
画像解析部の多層式のニューラルネットワークは、防災と防犯の何れにも係らない画像を含む学習画像により学習を行い、
異常判定部の辞書の単語は、防犯及び又は防災に係る事項に基づいて予め記憶される。

（ニューラルネットワークの機能構成）
画像解析部の多層式のニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）と隠れ層にロング・ショートターム・メモリ（ＬＳＴＭ： Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）を用いた再帰型ニューラルネットワーク（ＲＮＮ： Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で構成され、
畳み込みニューラルネットワークは、入力画像の特徴量を抽出して出力し、
再帰型ニューラルネットワークは、畳み込みニューラルネットワークから出力された特徴量を入力して画像説明文を生成して出力する。

（畳み込みニューラルネットワークと再帰型ニューラルネットワークの学習）
畳み込みニューラルネットワークは、教師なしの学習画像の入力により学習され、
再帰型ニューラルネットワークは、学習済みの畳み込みニューラルネットワークに学習画像を入力した場合に所定の中間層から出力される特徴量と学習画像に対応した所定の学習画像説明文を入力して学習される。

（火災監視）
画像解析部の多層式のニューラルネットワークは所定の火災学習画像と所定の画像説明文を入力して学習されており、撮像部から入力された監視領域の画像の解析により画像説明文を生成して出力し、
異常判定部は、画像解析部から出力された画像説明文の単語を、辞書に予め記憶した所定の火災を示す単語と比較して火災を判定した場合に火災判定信号を出力して警報させる。

（盗難監視）
画像解析部の多層式のニューラルネットワークは所定の盗難学習画像と所定の画像説明文を入力して学習されており、撮像部から入力された監視領域の画像の解析により画像説明文を生成して出力し、
異常判定部は、画像解析部から出力された画像説明文の単語を、辞書に予め記憶した所定の盗難を示す単語と比較して盗難を判定した場合に盗難判定信号を出力して警報させる。

（時間による判定基準の変化）
異常判定部は時間帯によって動作を異ならせる。

（異常監視システム１の効果）
本発明は、撮像部により撮像された監視領域の画像を入力して異常を判定する異常監視システムに於いて、撮像部により撮像された監視領域の画像の中の変化のあった画像部分を抽出する画像抽出部と、画像抽出部で抽出された画像部分を解析し、画像に含まれる要素を単語として、当該単語を元に画像説明文を生成して出力する多層式のニューラルネットワークで構成された画像解析部と、画像解析部から出力された画像説明文に含まれる単語を辞書に予め記憶した所定の異常を示す単語と比較して異常を判定した場合に、異常判定信号を出力して警報させる異常判定部と、が設けられたため、例えば監視カメラで遺産的な価値のある神社を監視する場合、異常の原因となる事象の画像全体に占める割合は多くないことが予想され、このような監視画像を入力して解析した場合、画像全体に占める割合が少ない異常原因となる事象を判定できない恐れがあるが、本発明にあっては、監視カメラにより撮像された監視画像の中の変化のあった画像部分を抽出して解析することで、異常の原因となった事象を示す１又は複数の対象物の特徴が抽出されて単語化され、抽出された単語を辞書の異常を示す所定の単語と比較して一致又は類似した場合に異常判定信号を出力して警報させることができるので、異常の原因となった事象を示す単語を元に画像説明文を生成して確実に出力することができ、異常の判定精度を向上可能とする。また、単語の組み合わせなどから特徴が異常に該当するかを判定することにより、真の異常と誤報との異常の判定精度を向上可能とする。

（異常監視システム２の効果）
本発明の別の形態にあっては、撮像部により撮像された監視領域の画像を入力して異常を判定する異常視システムに於いて、撮像部により撮像された画像を解析し、画像に含まれる要素を単語として、当該単語を元に画像説明文を生成して出力する多層式のニューラルネットワークで構成された画像解析部と、画像解析部から出力された画像説明文に含まれる単語を辞書に予め記憶した所定の異常を示す単語と比較して異常を判定した場合に、異常判定信号を出力して警報させる異常判定部と、が設けられたため、監視カメラにより撮像された監視領域の画像を多層式のニューラルネットワークで構成された画像解析部に入力すると、画像中に存在する１又は複数の対象物の特徴が抽出されて単語化され、例えば「神社・屋根・異常・ある」といった単語を元に画像説明文が生成され、この単語を辞書の異常を示す所定の単語と比較して一致又は類似した場合に異常判定信号を出力して警報させることができ、単語の組み合わせなどから特徴が異常に該当するかを判定することにより、真の異常と誤報との異常の判定精度を向上可能とする。また異常判定部は、異常判定時に、画像解析部から出力された画像説明文と共に抽出した画像部分を強調した監視領域の画像をモニタ部に表示させるようにしたため、監視者は監視領域で発生した異常を理解することが可能となる。例えば監視室等のモニタで監視員が監視を行うようなシステムの場合、異常判定時に警報が出力されて監視員が当該画面を確認したときに、モニタに撮像部により抽出した画像部分が強調された監視領域の画像と画像説明文が表示されるため、異常である部分を即座にモニタから認識可能とし、かつ画像説明文で概要を確認しながら画像を確認可能となり、状況の理解が容易となる。

（ＳＶＯ形式による異常の比較判定による効果）
異常判定部は、画像解析部から出力された画像説明文を主語（Ｓ）、動詞（Ｖ）、目的語（Ｏ）及び又は補語（Ｃ）に分類し、辞書に記憶された所定の異常を示す主語、動詞及び又は目的語と比較して、少なくとも何れかが一致又は類似した場合異常を判定するようにしたため、画像説明文を構成する主語（Ｓ）、動詞（Ｖ）、目的語（Ｏ）、補語（Ｃ）の各々又はその組み合わせについて辞書に登録された異常を示す主語（Ｓ）、動詞（Ｖ）、目的語（Ｏ）、補語（Ｃ）と比較することで、単語間の関係からより詳細な異常判定基準を適用することが可能となり、真の異常と誤報との異常の判定精度を向上させ、確実に異常を判定して警報可能とする。また異常判定部は、異常判定時に、画像解析部から出力された画像説明文と共に異常を判定された要素となる箇所を強調した監視領域の画像をモニタ部に表示させるようにしたため、監視者は監視領域で発生した異常を理解することが可能となる。例えば監視室等のモニタで監視員が監視を行うようなシステムの場合、異常判定時に警報が出力されて監視員が当該画面を確認したときに、モニタに撮像部により異常を判定された要素となる部分が強調された監視領域の画像と画像説明文が表示されるため、異常である部分を即座にモニタから認識可能とし、かつ画像説明文で概要を確認しながら画像を確認可能となり、状況の理解が容易となる。

（総合的な学習を行ったニューラルネットワークによる効果）
画像解析部の多層式のニューラルネットワークは、防災と防犯の何れにも係らない画像を含む学習画像により学習を行い、異常判定部の辞書の単語は、防犯及び又は防災に係る事項に基づいて予め記憶されるようにしたため、防災・防犯分野に限らない総合的な学習をニューラルネットワークに対して行うことで、画像に対する識別の精度が向上し、防災・防犯分野に限った学習を行った際の、画像中の防災・防犯分野に関係しないものを当該対象に画像的に類似した防災・防犯分野に関係するものと誤って検出してしまうというリスクを減じることができる。さらに、辞書については防犯及び又は防災に係る事項について記憶しておけば、防犯及び又は防災の事象を検出することが可能となる。このように、学習・記憶する対象を適正に選択することで精度の高い検出を行うことが可能となる。

（ニューラルネットワークの機能構成による効果）
また、画像解析部の多層式のニューラルネットワークは、畳み込みニューラルネットワークと隠れ層にロング・ショートターム・メモリを用いた再帰型ニューラルネットワークで構成され、畳み込みニューラルネットワークは、入力画像の特徴量を抽出して出力し、再帰型ニューラルネットワークは、畳み込みニューラルネットワークから出力された特徴量を入力して画像説明文を生成して出力するようにしたため、畳み込みニューラルネットワークにより入力画像の特徴が自動的に抽出されることで、監視領域の入力情報から前処理により火災入力情報の特徴、例えば、画像に於いては輪郭等を抽出するような前処理を必要とすることなく入力情報の特徴が抽出され、引き続いて行う再帰型ニューラルネットワークにより高い精度で画像説明文を推定して生成可能とする。

また、畳み込みニューラルネットワークと再帰型ニューラルネットワークで構成される画像解析部は、前述した異常監視システム１のように、監視カメラで撮像した画像の中の変化のあった部分を抽出して入力する代わりに、前述した異常監視システム２のように、監視カメラで撮像した画像をそのまま入力した場合にも、画像の特徴を抽出して高い精度で画像説明文が生成され、画像説明文の単語を辞書単語と比較することで、確実に異常を判定して警報可能とする。

（畳み込みニューラルネットワークと再帰型ニューラルネットワークの学習の効果）
また、畳み込みニューラルネットワークは、教師なしの学習画像の入力により学習され、再帰型ニューラルネットワークは、学習済みの畳み込みニューラルネットワークに学習画像を入力した場合に所定の中間層から出力される特徴量と学習画像に対応した所定の学習画像説明文を入力して学習されるため、異常監視に関連する学習画像とその画像説明文をペアとした多数の学習データセットを準備することで、畳み込みニューラルネットワークによる画像の特徴量を抽出するための機能及び再帰型ニューラルネットワークによる画像の特徴量を画像説明文に変換する機能を学習させ、監視カメラで撮像した監視領域の画像の解析により、高い精度で画像説明文を推定して生成可能とする。

（火災監視による効果）
また、画像解析部の多層式のニューラルネットワークは所定の火災学習画像と所定の画像説明文を入力して学習されており、撮像部から入力され監視領域の画像の解析により画像説明文を生成して出力し、異常判定部は、画像解析部から出力された画像説明文の単語を、辞書に予め記憶した所定の火災を示す単語と比較して火災を判定した場合に火災判定信号を出力して警報させるようにしたため、監視カメラで監視している例えば神社から煙の出ている画像が入力された場合、画像解析部の多層式のニューラルネットワークにより例えば「神社の屋根から煙が出ています。」といった画像説明文が出力され、辞書に登録されている「神社」、「屋根」、「煙」といった単語との比較により火災を示す画像説明文であることを判定し、火災判定信号を出力して火災警報を出力させることができる。

また、監視カメラで監視している例えば神社の近くでライターを付けている人の画像が入力された場合、画像解析部のニューラルネットワークにより例えば「神社の近くの人がライターを付けています。」といった画像説明文が出力され、辞書に登録されている「神社」、「ライター」、「付けて」といった単語との比較により放火を示す画像説明文であることを判定し、火災判定信号を出力して火災警報を出力させることができる。

（盗難監視による効果）
また、画像解析部の多層式のニューラルネットワークは所定の盗難学習画像と所定の画像説明文を入力して学習されており、撮像部から入力された監視領域の画像の解析により画像説明文を生成して出力し、異常判定部は、画像解析部から出力された画像説明文の単語を、辞書に予め記憶した所定の盗難を示す単語と比較して盗難を判定した場合に盗難判定信号を出力して警報させるようにしたため、監視カメラで監視している例えば神社の賽銭箱の近くを行き来する不審者の画像が入力された場合、画像解析部のニューラルネットワークにより例えば「神社の賽銭箱の近くに不審者がいるようです。」といった画像説明文が出力され、辞書に登録されている「神社」、「賽銭箱」、「不審者」といった単語との比較により盗難を示す画像説明文であることを判定し、盗難判定信号を出力して盗難警報を出力させることができる。

（時間による判定基準の変化による効果）
異常判定部は、時間帯によって動作を異ならせるようにしたため、時間によっては異常となる事象に対して、当該時間の間のみ異常と判定することが可能となる。また、時間帯によって監視したい対象・行動が変化するような場所において対応が可能となる。

監視カメラと神社の火災を監視する異常監視システムの概略を示した説明図 図１の画像解析部に設けられた畳み込みニューラルネットワークと再帰型ニューラルネットワークの機能構成を示した説明図 監視カメラにより撮像した神社の監視画像の画像解析による火災判定処理を示した説明図 図１の火災検出器により火災監視制御を示したフローチャート

［火災監視システムの概要］
図１は監視カメラにより火災を監視する異常監視システムの概略を示した説明図である。

図１に示すように、監視カメラ１２が所定の監視対象、例えば歴史的な遺産としての価値がある神社１４を監視するため設置され、神社１４を含む監視領域を監視カメラ１２により動画撮影している。

監視カメラ１２はＲＧＢのカラー画像を例えば３０フレーム／秒で撮像して動画として出力する。また、１フレームは例えば縦横４０５６×４０５６ピクセルの画素配置となる。

監視対象となる神社１４の管理棟等には、火災検出器１０が設置され、監視カメラ１２が信号ケーブル１５により接続されており、監視カメラ１２で撮像された動画画像を入力している。

火災検出器１０は、画像抽出部１６、学習データセット記憶部１８、画像解析部２０及び火災判定部２２を備える。画像解析部２０は多層式ニューラルネットワークとして畳み込みニューラルネットワーク２４と再帰型ニューラルネットワーク２６を備え、また、畳み込みニューラルネットワーク２４と再帰型ニューラルネットワーク２６を学習するための学習制御部２８を備えている。火災判定部２２は判定器３０とシソーラス辞書３２で構成されている。シソーラス辞書３２には火災判定単語が大分類から小分類に分けて体系的に整理して記憶されている。

ここで、画像解析部２０及び火災判定部２２の機能は、多層式のニューラルネットワークの処理に対応したコンピュータ回路のＣＰＵによるプログラムの実行により実現される。

画像抽出部１６は監視カメラ１２で撮像された神社１４を含む監視領域の画像を入力し、例えばフレーム単位に前フレームとの差分をとることで、監視画像の中の変化のあった画像部分を抽出して画像解析部２０に出力する。画像抽出部１６による変化のあった画像部分の抽出は、変化のあった画像領域の中心位置を起点に上下左右に所定の画素数の範囲を抽出して出力する。また、画像抽出部１６は監視画像を縦横所定サイズのブロック画像に分割し、変化のあった１又は複数のブロック画像を抽出して出力するようにしても良い。

画像解析部２０に設けられた畳み込みニューラルネットワーク２４は入力した監視画像の特徴量を抽出して出力する。再帰型ニューラルネットワーク２６は畳み込みニューラルネットワーク２４から出力された特徴量を入力し、入力画像の概要を説明する画像説明文を生成して出力する。

火災判定部２２の判定器３０は、画像解析部２０の再帰型ニューラルネットワーク２６から出力された画像説明文を構成する１又は複数の単語と、シソーラス辞書３２に記憶されている複数の火災判定単語とを比較し、画像説明文の単語がシソーラス辞書３２の火災判定単語に一致又は類似した場合に火災を判定して火災判定信号を例えば神社１４に設置されている火災報知設備の火災受信機に出力して火災予兆警報又は火災警報を出力させる。なお、判定器３０における火災判定単語等の異常判定単語は監視者が監視対象や監視行為に応じて適宜変更可能である。

画像解析部２０に設けられた畳み込みニューラルネットワーク２４と再帰型ニューラルネットワーク２６は、学習データセット記憶部１８に予め記憶された学習画像とその画像説明文のペアからなる多数の学習データセットを使用して学習制御部２８により学習されている。

学習データセット記憶部１８に記憶されている学習画像は、例えば、通常監視状態で監視カメラ１２により撮像された神社１４を含む監視画像を、画像抽出部１６による部分画像の抽出サイズで縦及び横方向に所定画素ピッチずつシフトして多数の部分画像を生成し、この部分画像に火災実験等により撮像された火災による炎や煙の画像を合成した画像を学習画像として記憶している。

また、記憶された多数の学習画像に対応して画像説明文を生成し、学習画像と画像説明部のペアからなる多数の学習データセットを記憶している。例えば、神社１４の屋根の部分から煙が上がっている学習画像に対しては「神社の屋根から煙が出ている。」といった画像説明文が記憶されている。

学習制御部２８は、まず、学習データセット記憶部１８に記憶されている多数の学習画像を読み出し、畳み込みニューラルネットワーク２４に教師なしの学習画像として入力し、バックプロパゲーション法（逆伝播法）により学習させる。

続いて、学習制御部２８は、学習画像による学習の済んだ畳み込みニューラルネットワーク２４に学習画像を入力すると共に、入力した学習画像とペアになっている画像説明文を再帰型ニューラルネットワーク２６に入力し、再帰型ニューラルネットワーク２６を、学習済みの畳み込みニューラルネットワーク２４から出力された特徴量とその画像説明文により学習させる。

［画像解析部の多層式ニューラルネットワーク］
図２は図１の画像解析部に設けられた畳み込みニューラルネットワークと再帰型ニューラルネットワークの機能構成を示した説明図である。

（畳み込みニューラルネットワーク）
図２に示すように、畳み込みニューラルネットワーク２４は入力層３４、複数の中間層３６で構成されている。通常の畳み込みニューラルネットワークは最後の中間層３６の後に、入力層、複数の中間層及び出力層を全結合して画像の特徴量から出力を推定する多層式ニューラルネットワークを設けているが、本実施形態は、入力画像の特徴量を抽出するだけで良いことから、後段の全結合の多層式ニューラルネットワークは設けていない。

畳み込みニューラルネットワーク２４は、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。視覚野には、視野の小区域に対し敏感な小さな細胞の集まりとなる受容野が含まれており、受容野の挙動は、行列の形で重み付けを学習することで模倣できる。この行列は重みフィルタ（カーネル）と呼ばれ、生物学的に受容野が果たす役割と同様に、ある画像の類似した小区域に対して敏感になる。

畳み込みニューラルネットワーク２４は、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。

畳み込みニューラルネットワーク２４は、入力層３４に入力した入力画像に対し重みフィルタにより畳み込み処理を行う。例えば、重みフィルタは縦横３×３の所定の重み付けがなされた行列フィルタであり、入力画像の各画素にフィルタ中心を位置合わせしながら畳み込み演算を行うことで、入力画像の９画素を次の中間層３６の小区域となる特徴マップの１画素に畳み込み、中間層３６に特徴マップが生成される。

続いて、畳み込み演算により得られた中間層３６の特徴マップに対しプーリングの演算を行う。プーリングの演算は、識別に不必要な特徴量を除去し、識別に必要な特徴量を抽出する処理である。

続いて、重みフィルタを使用した畳み込み演算とプーリングの演算を各中間層３６毎に繰り返すことで最後の中間層３６まで特徴マップが生成され、本実施形態にあっては、任意の中間層３６に生成された特徴マップを、入力画像の特徴量として再帰型ニューラルネットワーク２６に入力している。

畳み込みニューラルネットワーク２４は、図１に示した学習制御部２８により学習データセット記憶部１８に記憶された学習画像を入力して教師なしの学習を行っており、この学習により、良く似た画像をグループ分けするクラスタリングされた特徴量をもつ画像を生成することができる。

（再帰型ニューラルネットワーク）
図２に示す再帰型ニューラルネットワーク２６は、畳み込みニューラルネットワーク２４を用いて抽出した画像の特徴量を、単語ベクトルと共に入力して画像説明文を予測する。

本実施形態の再帰型ニューラルネットワーク２６は、時系列データ対応の深層学習モデルとなるＬＳＴＭ−ＬＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ−Ｌａｎｇａｇｅ Ｍｏｄｅｌ）を使用している。

通常の再帰型ニューラルネットワークのモデルは、入力層、隠れ層、出力層で構成され、隠れ層の情報を次時刻の入力とすることで過去の経歴を利用した時系列解析をするモデルである。これに対しＬＳＴＭモデルは、過去の文脈となるｔ−１個の単語からｔ番目の単語として各単語が選ばれる確率を算出する。即ち、ＬＳＴＭモデルは１時刻前の隠れ状態となる時刻１〜ｔ−１の単語情報、１時刻前の予測結果となる時刻ｔ−１の単語、及び外部情報の３つを入力とし、逐次的に次の単語の予測を繰り返して文章を生成する。

図２の再帰型ニューラルネットワーク２６は、畳み込みニューラルネットワーク２４で抽出された画像の特徴ベクトルをＬＳＴＭ隠れ層３８に入力する行列に変換するＬＳＴＭ入力層３７、レジスタ４０に単語単位に格納された単語Ｓ₀〜Ｓ_N-1をベクトルＷｅＳ₀〜ＷｅＳ_N-1に変換するベクトル変換部４２、Ｎ−１段のＬＳＴＭ隠れ層３８の出力を出現確率ｐ₁〜ｐ_Nに変換する確率変換部４４、単語を出力する確率からコスト関数ｌｏｇＰ₁（ｓ１）〜ｌｏｇｐ_N（Ｓ_N）により算出してコストを最小化するコスト算出部４６で構成される。

（再帰型ニューラルネットワークの学習）
再帰型ニューラルネットワーク２６の学習対象は、ベクトル変換部４２とＬＳＴＭ隠れ層３８であり、畳み込みニューラルネットワーク２４からの特徴量は、学習済みのパラメータをそのまま使用する。

学習データは、学習画像Ｉとその画像説明文の単語列｛Ｓｔ｝（ｔ＝０，・・・Ｎ）となり、次の手順で行う。
（１） 画像Ｉを畳み込みニューラルネットワーク２４に入力し、特定の中間層３６の出力を特徴ベクトルとして取り出す。
（２） 特徴ベクトルをＬＳＴＭ隠れ層３８に入力する。
（３） 単語列Ｓｔをｔ＝０からｔ＝Ｎ−１まで順に入力し、それぞれのステップで確率ｐ_t+1を得る。
（４） 単語Ｓｔ＋１を出力する確率ｐｔ＋１（Ｓｔ＋１）から求まるコストを最小化する。

（画像説明文の生成）
学習済みの畳み込みニューラルネットワーク２４と再帰型ニューラルネットワーク２６を使用して画像説明文を生成する場合には、畳み込みニューラルネットワーク２４に画像を入力して生成した特徴量のベクトルを再帰型ニューラルネットワーク２６に入力し、単語の出現確率の積が高い順に単語列を並べて画像説明文を生成させる。この手順は次のようになる。
（１） 画像を畳み込みニューラルネットワーク２４に入力し、特定の中間層３６の出力を特徴ベクトルとして取り出す。
（２） 特徴ベクトルをＬＳＴＭ入力層３７からＬＳＴＭ隠れ層３８に入力する。
（３） 文の開始記号＜Ｓ＞を、ベクトル変換部４２を使用してベクトルに変換し、ＬＳＴＭ隠れ層３８に入力する。
（４） ＬＳＴＭ隠れ層３８の出力から単語の出現確率が分かるので、上位Ｍ個（例えばＭ＝２０個）の単語を選ぶ。
（５） １つ前のステップで出力した単語を、ベクトル変換部４２を使用してベクトルに変換し、ＬＳＴＭ隠れ層３８に入力する。
（６） ＬＳＴＭ隠れ層３８の出力から、これまでに出力した単語の確率の積を求め、上位Ｍ個の単語列を選択する。
（７） 前記（５）と前記（６）の処理を、単語の出力が終端記号になるまで繰り返す。

［火災監視制御］
図３は監視カメラにより撮像した神社の監視画像の画像解析による火災判定制御を示した説明図である。

図１に示した火災検出器１０は、監視カメラ１２で撮像された監視対象となる神社１４を含む監視画像を入力して監視している。この監視中に、例えば落雷等により図３の監視画像４８に示すように、神社１４の右上の屋根のひさしに近い部分から煙が上がっていたとすると、画像抽出部１６が前フレームとの差分から煙の発生部分の画像変化を判定し、煙を含む所定領域の部分画像５０を抽出する画像抽出処理５２を行い、画像解析部２０に入力して画像解析処理５４を行わせる。

この画像解析処理５４にあっては、畳み込みニューラルネットワーク２４により部分画像５０の特徴量が抽出されて再帰型ニューラルネットワーク２６に入力され、例えば「屋根から煙が出ている。」といった画像説明文５６が出力される。

画像解析部２０から出力された画像説明文５６は火災判定部２２の判定器３０に入力され、判定器３０は画像説明文５６の主語Ｓとして「屋根」、動詞Ｖとして「出ている」、目的語Ｏとして「煙」となるＳＶＯ形式に変換し、シソーラス辞書３２に大分類から小分類に分けて体系的に記憶された火災に関連する火災判定単語と比較し、「屋根」、「煙」、「出ている」といった単語の全て、或いは「煙」が火災判定単語に一致又は類似した場合に火災と判定する火災判定処理５８を行い、火災判定信号を図示しない火災報知設備の火災受信機に出力して火災予兆警報又は火災警報を出力させる火災判定処信号出力処理６０を行う。

なお、判定器３０は、画像説明文をＳＶＯ形式以外に、補語Ｃを加えたＳＶＯＣ形式に変換してもよいし、単に複数の単語列に変換するだけでも良い。

また、火災検出器１０にモニタ装置を設け、火災を判定した場合に監視カメラ１２により撮像している火災が判定された監視領域の画像を画面表示し、火災受信機からの火災予兆警報や火災警報を知った管理責任者や防災担当者による火災確認ができるようにしても良い。この際、モニタ装置に画像説明文５６を表示し、抽出した画像部分を枠で囲み強調表示する。また、複数の監視カメラ１２の映像を切り替えてモニタ装置に表示するシステムの場合、異常を判定した監視カメラ１２の映像を表示するように切り替える。この場合、火災検出器１０の操作部に火災断定スイッチを設け、モニタ画像から火災を確認した場合に火災断定スイッチを操作すると、火災受信機に発信機を操作した場合と同様に、火災通報信号を出力し、火災受信機から火災警報を出力させるようにしても良い。

図４は図１の火災検出器により火災監視制御を示したフローチャートである。図４に示すように、火災検出器１０はステップＳ１で監視カメラ１２により撮像された監視画像を画像抽出部１６に読み込み、ステップＳ２で前フレームとの差分画像から変化のある画像部分を抽出し、ステップＳ３で画像解析部２０に入力し、畳み込みニューラルネットワーク２４による部分画像の特徴量を抽出し、抽出した特徴量を再帰型ニューラルネットワーク２６に入力して画像説明文を出力する。

続いて火災検出器１０は、ステップＳ４で画像解析部２０で生成された画像説明文を火災判定部２２に入力して辞書登録された火災判定単語と比較し、一致又は類似した場合にステップＳ５で火災と判定し、ステップＳ６で火災判定信号を火災受信機に出力して火災予兆警報又は火災警報を出力させる。

［火災検出器の他の実施形態］
図１に示した火災検出器１０は、画像抽出部１６により監視画像の中の変化のあった部分を抽出して画像解析部２０に入力して画像説明文を生成させているが、火災検出器１０の他の実施形態として、画像抽出部１６を除いた構成としても良い。

画像抽出部１６を除いた火災検出器１０にあっては、監視カメラ１２により撮像された監視領域の画像かそのまま画像解析部２０に入力されることになるが、図２に示した画像解析部２０を構成する畳み込みニューラルネットワーク２４と再帰型ニューラルネットワーク２６は、火災による煙等の事象変化を一部に含む監視画像が入力された場合、例えば図３に示した監視画像４８が入力された場合、畳み込みニューラルネットワーク２４と再帰型ニューラルネットワーク２６を十分な数の学習画像とその画像説明文のペアとなるデータセットにより学習していれば、例えば「神社の屋根から煙が出ている。」といった画像説明文を高い精度で推定して出力することができ、画像抽出部１６を不要とした分、機能機構を簡単にすることができる。

［火災検出器による放火監視］
図１に示した火災検出器１０は、監視対象とする神社の火災監視を行っているが、これ以外に、監視対象としている神社の放火監視を行うこともできる。

火災検出器１０で放火監視を行うためには、図１の学習データセット記憶部１８に記憶させる学習画像とその画像説明文のペアからなるデータセットとして、神社の周囲を撮像するように複数台の監視カメラを設置し、火災検出器１０に複数台の監視カメラを順番に切り替えて監視画像を入力し、神社に放火しようと不審者がライターを付けた画像が入力された場合、画像解析部２０の畳み込みニューラルネットワーク２４と再帰型ニューラルネットワーク２６により例えば「男がライターを付けている。」といった画像説明文が生成され、辞書登録された「男」、「ライター」、「付ける」といった放火判定単語との比較により放火を判定し、火災受信機に放火判定信号を出力して火災警報を出力させる。

ここで、火災検出器１０による放火監視は、参拝者が居なくなる出入口が閉鎖された夜間を含む時間帯に動作するように管理されており、参拝者の喫煙場所でのライターの着火は放火とは判定されず、不審者による放火を確実に判定して警報することができる。

［盗難判定器による盗難監視］
図１に示した火災検出器１０は、監視対象とする神社の火災監視を行っているが、これ以外に、監視対象としている神社に置かれている賽銭箱等の盗難監視を行う盗難検出器とすることもできる。

盗難検出器で盗難監視を行うためには、図１の学習データセット記憶部１８に記憶させる学習画像とその画像説明文のペアからなるデータセットとして、神社に置かれた賽銭箱の周囲を人が行き来するような画像を学習画像として撮像して例えば「不審者が賽銭箱の近くにいます。」といった画像説明分のペアを多数のデータセットとして準備し、畳み込みニューラルネットワーク２４と再帰型ニューラルネットワーク２６を学習させる。

このような盗難監視のための学習が済んだ盗難検出器に、賽銭箱の周囲を徘徊する男の移った監視画像が入力されると、画像解析部２０の畳み込みニューラルネットワーク２４と再帰型ニューラルネットワーク２６により例えば「人が賽銭箱の近くにいます。」といった画像説明文が生成され、辞書登録された「人」、「賽銭箱」、「いる」といった盗難判定単語との比較により盗難を判定し、盗難受信機に盗難判定信号を出力して盗難警報を出力させる。

また、盗難検出器による盗難監視は、参拝者が居なくなる出入り口が閉鎖された夜間を含む時間帯に動作するように管理されており、これにより参拝者が賽銭箱に近づいても盗難として判定されず、不審者による盗難を確実に判定して警報することができる。
〔本発明の変形例〕
（システムの運用形態）
上記の実施形態は、火災報知設備の火災受信機に火災判定信号を出力して火災警報させるようにしているが、火災警報の出力方法は一例であり、火災受信機と接続されずに運用されても良い。この場合、判定器で異常が判定された場合、監視カメラの映像等を監視する監視室に警報を出力する。また、監視カメラ・監視室間はローカルなシステムであっても良いし、監視室が複数の現場の監視カメラの映像をインターネット等により通じて集中的に監視するシステムであっても良い。

（システムの運用対象）
上記の実施形態では神社を監視対象としているが、監視対象はこれに限らない。例えば、店舗において適用し、昼間は盗難に対して異常判定を行うため誤報を少なくするように異常の判定条件を緩めに設定し、夜間は人の存在に対して異常判定を行うため、確実に警報できるように異常の判定精度を厳しめに設定する。

また例えば、工事現場に適用し、昼間は安全帯未装着等の不安全行為等の禁止行為を異常判定し、夜間は放火行為の監視を行うようにしても良い。

（ネットワークを通じた学習）
畳み込みニューラルネットワークと再帰型ニューラルネットワークは、他の現場で学習されたニューラルネットワークや防災・防犯分野に限らず総合的な学習を行ったニューラルネットワークを用いるようにしても良い。これは、単語抽出と画像説明文の作成において必要な要素が防災・防犯分野に限られないためである。

また、畳み込みニューラルネットワークと再帰型ニューラルネットワークは、他の現場の画像をインターネット等経由して収集して学習するようにしても良い。この場合、学習用のサーバーを設けて各現場の学習画像を収集して学習し、その学習結果を各現場の異常監視システムに適用させることが好適であるが、これに限らない。

また、シソーラス辞書と判定器についても、他の現場のシステムと共有され、更新されるようにすることが、他の物件で出た異常に対応できるようにするため、好適である。

（赤外線照明と赤外線画像の撮像）
上記の実施形態は、監視カメラにより監視領域の照明を使用した状態及び又は自然光の状態で監視領域を撮像しているが、赤外線照明装置からの赤外線光を監視領域に照射し、赤外線領域に感度のある監視カメラにより赤外線画像を撮像して畳み込みニューラルネットワーク（赤外線画像により学習済み）と再帰型ニューラルネットワーク（赤外線画像の特徴量と画像説明文により学習済み）により構成された画像解析部に入力して赤外線画像の画像説明文を生成し、火災や盗難といった異常を判定して警報するようにしても良い。

このように監視領域の赤外線画像を火災検出器や盗難検出器に入力することで、監視領域の照明状態や昼夜の明るさ変化等に影響されることなく、監視画像を用いた火災や盗難の監視が可能となる。

（その他）
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。

１０：火災検出器
１２：監視カメラ
１４：神社
１６：画像抽出部
１８：学習データセット記憶部
２０：画像解析部
２２：火災判定部
２４：畳み込みニューラルネットワーク
２６：再帰型ニューラルネットワーク
２８：学習制御部
３０：判定器
３２：シソーラス辞書
３４：入力層
３６：中間層
３７：ＬＳＴＭ入力層
３８：ＬＳＴＭ隠れ層
４０：レジスタ
４２：ベクトル変換部
４４：確率変換部
４６：コスト算出部
４８：監視画像
５０：部分画像
５２：画像抽出処理
５４：画像解析処理
５６：画像説明文
５８：火災判定処理
６０：火災判定信号出力処理

Claims (9)

1. 撮像部により撮像された監視領域の画像を入力して異常を判定する異常監視システムに於いて、
   前記撮像部により撮像された監視領域の画像の中の変化のあった画像部分を抽出する画像抽出部と、
   前記画像抽出部で抽出された前記画像部分を解析し、前記画像に含まれる要素を単語として、当該単語を元に画像説明文を生成して出力する多層式のニューラルネットワークで構成された画像解析部と、
   前記画像解析部から出力された前記画像説明文に含まれる単語を辞書に予め記憶した所定の異常を示す単語と比較して前記異常を判定した場合に、異常判定信号を出力して警報させ、前記画像解析部から出力された前記画像説明文と共に抽出した前記画像部分を強調した前記監視領域の画像をモニタ部に表示させる異常判定部と、
   が設けられたことを特徴とする異常監視システム。
   
2. 撮像部により撮像された監視領域の画像を入力して異常を判定する異常監視システムに於いて、
   前記撮像部により撮像された画像を解析し、前記画像に含まれる要素を単語として、当該単語を元に画像説明文を生成して出力する多層式のニューラルネットワークで構成された画像解析部と、
   前記画像解析部から出力された前記画像説明文に含まれる単語を辞書に予め記憶した所定の異常を示す単語と比較して前記異常を判定した場合に、異常判定信号を出力して警報させ、前記画像解析部から出力された前記画像説明文と共に異常を判定された前記要素となる部分を強調した前記監視領域の画像をモニタ部に表示させる異常判定部と、
   が設けられたことを特徴とする異常監視システム。
   
3. 請求項１又は２記載の異常監視システムに於いて、
   前記異常判定部は、前記画像解析部が生成から出力された前記画像説明文を主語、動詞、目的語及び又は補語に分類し、前記辞書に記憶された所定の異常を示す主語、動詞及、目的語及び又は補語と比較して、一致又は類似した場合に異常を判定することを特徴とする異常監視システム。
   
4. 請求項１乃至３何れかに記載の異常監視システムに於いて、
   前記画像解析部の多層式のニューラルネットワークは、畳み込みニューラルネットワークと隠れ層にロング・ショートターム・メモリを用いた再帰型ニューラルネットワークで構成され、
   前記畳み込みニューラルネットワークは、入力画像の特徴量を抽出して出力し、
   前記再帰型ニューラルネットワークは前記畳み込みニューラルネットワークから出力された前記特徴量を入力して前記画像説明文を生成して出力することを特徴とする異常監視システム。
   
5. 請求項４記載の異常監視システムに於いて、
   前記畳み込みニューラルネットワークは、教師なしの学習画像の入力により学習され、
   前記再帰型ニューラルネットワークは、前記学習済みの前記畳み込みニューラルネットワークに前記学習画像を入力した場合に所定の中間層から出力される特徴量と前記学習画像に対応した所定の学習画像説明文を入力して学習されることを特徴とする異常監視システム。
   
6. 請求項１乃至５何れかに記載の異常監視システムに於いて、
   前記画像解析部の前記多層式のニューラルネットワークは所定の火災学習画像と所定の画像説明文を入力して学習されており、前記撮像部から入力された前記監視領域の画像の解析により画像説明文を生成して出力し、
   前記異常判定部は、前記画像解析部から出力された前記画像説明文の単語を、辞書に予め記憶した所定の火災を示す単語と比較して前記火災を判定した場合に火災判定信号を出力して警報させることを特徴とする異常監視システム。
   
7. 請求項１乃至５何れかに記載の異常監視システムに於いて、
   前記画像解析部の前記多層式のニューラルネットワークは所定の盗難学習画像と所定の画像説明文を入力して学習されており、前記撮像部から入力された前記監視領域の画像の解析により画像説明文を生成して出力し、
   前記異常判定部は、前記画像解析部から出力された前記画像説明文の単語を、辞書に予め記憶した所定の盗難を示す単語と比較して前記盗難を判定した場合に盗難判定信号を出力して警報させることを特徴とする異常監視システム。
   
8. 請求項１乃至７何れかに記載の異常監視システムに於いて、
   前記異常判定部は、時間帯によって動作を異ならせることを特徴とする異常監視システム。
   
9. 請求項１乃至８何れかに記載の異常監視システムに於いて、
   前記画像解析部の多層式のニューラルネットワークは、防災と防犯の何れにも係らない画像を含む学習画像により学習を行い、
   前記異常判定部の辞書の単語は、防犯及び又は防災に係る事項に基づいて予め記憶されることを特徴とする異常監視システム。

Images