JP7372446B2 - 画像解析システム、画像解析方法及び画像解析プログラム - Google Patents

Description

本発明は、画像解析システムに係り、特に特定の対象物の状態を監視し、処理量を増大させることなく、異常を迅速に検出して報知することができる画像解析システム、画像解析方法及び画像解析プログラムに関する。

［先行技術の説明］
従来、撮像した画像情報を用いて不審物を検知したり、異常状態（非定常状態）を検知したりする画像解析システムがある。
これらのシステムでは、不審物や非定常状態を検出するために、例えばパターンマッチングの手法が用いられている（特許文献１，２）。
パターンマッチングでは、監視範囲の基準画像と、撮像装置が撮影した画像とを比較して画素毎に差分を算出し、差分が大きい場合には、当該領域に不審物があると検出したり、非定常状態となっていることを検出したりする。

また、物体検知（ＹＯＬＯ：You Only Look Once）の手法を用いる場合もある。物体検知では、ディープラーニングによって学習したモデルを用いて、監視物体の領域を矩形で囲んで物体の形状を検知し、形状の変化を検出する。

［関連技術］
尚、画像解析システムの従来技術としては、特開２０１１－６１６５１号公報「不審物検知システム」（特許文献１）、特開２０１０－１７１７０５号公報「監視映像検索装置及び監視映像検索プログラム」（特許文献２）がある。

特許文献１には、２次元撮像装置が撮影した画像の明るさと最も近い明るさの基準画像を用いて撮影画像と基準画像とを比較し、不審物を検知することが記載されている。
特許文献２には、最新の監視画像データと過去の監視画像データとを比較してパターンマッチングを行い、画素の移動量を算出して、移動体を検出することが記載されている。

特開２０１１－６１６５１号公報 特開２０１０－１７１７０５号公報

しかしながら、従来の画像解析システムを利用して物体の状態を監視した場合、パターンマッチングを用いたシステムでは、日照や経年変化の影響を受けやすく、また、画面全体のパターンマッチングを行うと処理量が多くなるという問題点があった。

また、物体検知を用いた従来の画像解析システムでは、処理量が多くなると共に、教師データを集めてモデルを学習するのが煩雑であるという問題点があった。

尚、特許文献１及び特許文献２には、被監視物体が存在することが予想される領域の画像を複数のグリッドに分割し、グリッド毎に物体が存在する画像としない画像とを学習した学習済みモデルを作成し、入力された画像に対して前記学習済みモデルに基づき物体の存在を判定することは記載されていない。

本発明は上記実状に鑑みて為されたもので、少ない処理量で正しく物体の状態を検知することができ、更に、取得した画像データと物体の状態を教師データとして学習を継続し、検知精度を向上させることができる画像解析システム、画像解析方法及び画像解析プログラムを提供することを目的とする。

上記従来例の問題点を解決するための本発明は、入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバを有する画像解析システムであって、画像解析サーバが、監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、グリッド毎に、当該グリッドに被監視物体が存在する画像に「１」を対応付け、存在しない画像に「０」を対応付けて学習させた学習済みモデルを備え、学習済みモデルを用いて、入力された画像についてグリッド毎に被監視物体が存在する確信度を算出し、複数のグリッドの確信度の平均値と、しきい値と、の比較結果に基づいて監視領域内における被監視物体の存在又は非存在を判定し、少なくとも一つのグリッドにおける確信度の値が、存在又は非存在の情報と矛盾する場合に異常を検出することを特徴としている。

また、本発明は、入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバを有する画像解析システムであって、画像解析サーバが、監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、グリッド毎に、当該グリッドに被監視物体が存在する画像に「１」を対応付け、存在しない画像に「０」を対応付けて学習させた学習済みモデルを備え、学習済みモデルを用いて、入力された画像についてグリッド毎に被監視物体が存在する確信度を算出し、外部から、監視領域内における被監視物体の存在又は非存在を示す情報を取得して、少なくとも一つのグリッドにおける確信度の値が、存在又は非存在を示す情報と矛盾する場合に異常を検出することを特徴としている。
また、本発明は、入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバを有する画像解析システムであって、画像解析サーバが、監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、グリッド毎に、当該グリッドに被監視物体が存在する画像に「１」を対応付け、存在しない画像に「０」を対応付けて学習させた学習済みモデルを備え、学習済みモデルを用いて、入力された画像についてグリッド毎に被監視物体が存在する確信度を算出し、外部から、監視領域内における被監視物体の存在又は非存在を示す情報を取得するとともに、複数のグリッドの確信度の平均値と、しきい値と、の比較結果に基づいて監視領域内における被監視物体の存在又は非存在を判定し、外部から取得した被監視物体の存在又は非存在を示す情報と、判定の結果とが異なる場合に異常を検出することを特徴としている。

また、本発明は、上記画像解析システムにおいて、画像解析サーバが、グリッド単位の画像とそれに対応する被監視物体の存在／非存在の情報の組を学習データとして蓄積しておき、学習データを用いて学習を行って新たなモデルを構築して、新たなモデルで学習済みモデルを更新することを特徴としている。

また、本発明は、上記画像解析システムにおいて、画像解析サーバが、異常が検出された画像とそれに対応する被監視物体の存在又は非存在の情報を学習データから除くことを特徴としている。

また、本発明は、入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析方法であって、監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、グリッド毎に、当該グリッドに被監視物体が存在する画像に「１」を対応付け、存在しない画像に「０」を対応付けて学習させた学習済みモデルを生成し、学習済みモデルを用いて、入力された画像についてグリッド毎に被監視物体が存在する確信度を算出し、外部から、監視領域内における被監視物体の存在又は非存在を示す情報を取得して、少なくとも一つのグリッドにおける確信度の値が、存在又は非存在を示す情報と矛盾する場合に異常を検出することを特徴としている。

また、本発明は、入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバで動作する画像解析プログラムであって、画像解析サーバを、グリッド毎に、当該グリッドに被監視物体が存在する画像に「１」を対応付け、存在しない画像に「０」を対応付けて学習させた学習済みモデルを生成し、学習済みモデルを用いて、入力された画像についてグリッド毎に被監視物体が存在する確信度を算出し、外部から、監視領域内における被監視物体の存在又は非存在を示す情報を取得して、グリッド毎の画像と取得した存在又は非存在の情報とを対応付けて記憶すると共に、いずれかのグリッドにおける確信度の値が、存在又は非存在の情報と矛盾する場合に異常を検出するよう機能させることを特徴としている。

本発明によれば、入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバを有する画像解析システムであって、画像解析サーバが、監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、グリッド毎に、当該グリッドに被監視物体が存在する画像に「１」を対応付け、存在しない画像に「０」を対応付けて学習させた学習済みモデルを備え、学習済みモデルを用いて、入力された画像についてグリッド毎に被監視物体が存在する確信度を算出し、複数のグリッドの確信度の平均値と、しきい値と、の比較結果に基づいて監視領域内における被監視物体の存在又は非存在を判定し、少なくとも一つのグリッドにおける確信度の値が、存在又は非存在の情報と矛盾する場合に異常を検出する画像解析システムとしているので、画像全体ではなく予め設定された特定領域のみの解析で判定が可能となり、処理量を大幅に低減でき、また、被監視物体の管理者は、判定結果に基づいて迅速に異常を認識して対応でき、学習済みモデルを用いた処理によって検出精度を向上でき、外部の装置からの情報を必要とせず、画像データから被監視物体の異常を検出することができ、システムを簡易な構成で実現できる効果がある。

また、本発明によれば、入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバを有する画像解析システムであって、画像解析サーバが、監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、グリッド毎に、当該グリッドに被監視物体が存在する画像に「１」を対応付け、存在しない画像に「０」を対応付けて学習させた学習済みモデルを備え、学習済みモデルを用いて、入力された画像についてグリッド毎に被監視物体が存在する確信度を算出し、外部から、監視領域内における被監視物体の存在又は非存在を示す情報を取得して、少なくとも一つのグリッドにおける確信度の値が、存在又は非存在を示す情報と矛盾する場合に異常を検出する画像解析システムとしているので、画像全体ではなく予め設定された特定領域のみの解析で判定が可能となり、処理量を大幅に低減でき、また、被監視物体の管理者は、判定結果に基づいて迅速に異常を認識して対応でき、学習済みモデルを用いた処理によって検出精度を向上でき、外部からの情報を用いて簡易な処理で被監視物体の異常を検出することができる効果がある。
また、本発明によれば、入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバを有する画像解析システムであって、画像解析サーバが、監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、グリッド毎に、当該グリッドに被監視物体が存在する画像に「１」を対応付け、存在しない画像に「０」を対応付けて学習させた学習済みモデルを備え、学習済みモデルを用いて、入力された画像についてグリッド毎に被監視物体が存在する確信度を算出し、外部から、監視領域内における被監視物体の存在又は非存在を示す情報を取得するとともに、複数のグリッドの確信度の平均値と、しきい値と、の比較結果に基づいて監視領域内における被監視物体の存在又は非存在を判定し、外部から取得した被監視物体の存在又は非存在を示す情報と、判定の結果とが異なる場合に異常を検出する画像解析システムとしているので、画像全体ではなく予め設定された特定領域のみの解析で判定が可能となり、処理量を大幅に低減でき、また、被監視物体の管理者は、判定結果に基づいて迅速に異常を認識して対応でき、学習済みモデルを用いた処理によって検出精度を向上でき、画像データから被監視物体の異常を検出することができる効果がある。

また、本発明によれば、画像解析サーバが、グリッド単位の画像とそれに対応する被監視物体の存在／非存在の情報の組を学習データとして蓄積しておき、学習データを用いて学習を行って新たなモデルを構築して、新たなモデルで学習済みモデルを更新する画像解析システムとしているので、学習の精度及び検出精度を向上させることができる効果がある。
また、本発明によれば、画像解析サーバが、異常が検出された画像とそれに対応する被監視物体の存在又は非存在の情報を学習データから除く上記画像解析システムとしているので、学習の精度及び検出精度をさらに向上させることができる効果がある。

また、本発明によれば、入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析方法であって、監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、グリッド毎に、当該グリッドに被監視物体が存在する画像に「１」を対応付け、存在しない画像に「０」を対応付けて学習させた学習済みモデルを生成し、学習済みモデルを用いて、入力された画像についてグリッド毎に被監視物体が存在する確信度を算出し、外部から、監視領域内における被監視物体の存在又は非存在を示す情報を取得して、少なくとも一つのグリッドにおける確信度の値が、存在又は非存在の情報と矛盾する場合に異常を検出する画像解析方法としているので、画像全体ではなく予め設定された特定領域のみの解析で判定が可能となり、処理量を大幅に低減でき、また、被監視物体の管理者は、判定結果に基づいて迅速に異常を認識して対応できる効果がある。

また、本発明によれば、入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバで動作する画像解析プログラムであって、画像解析サーバを、グリッド毎に、当該グリッドに被監視物体が存在する画像に「１」を対応付け、存在しない画像に「０」を対応付けて学習させた学習済みモデルを生成し、学習済みモデルを用いて、入力された画像についてグリッド毎に被監視物体が存在する確信度を算出し、外部から、監視領域内における被監視物体の存在又は非存在を示す情報を取得して、グリッド毎の画像と取得した存在又は非存在の情報とを対応付けて記憶すると共に、いずれかのグリッドにおける確信度の値が、存在又は非存在の情報と矛盾する場合に異常を検出するよう機能させる画像解析プログラムとしているので、外部からの情報を用いて簡易な処理で被監視物体の異常を精度よく検出することができる効果がある。

本画像解析システムの構成図である。 本画像解析方法の概略を示す説明図である。 画像解析サーバ１における異常検出の例を示す説明図である。 画像解析サーバ１の運用時の処理を示すフローチャートである。 画像データの例を示す説明図である。 学習データの例を示す説明図である。 画像解析サーバ１の再学習処理のフローチャートである。

本発明の実施の形態について図面を参照しながら説明する。
［実施の形態の概要］
本発明の実施の形態に係る画像解析システムは、監視領域に存在する物体（被監視物体）の状態を監視するものであり、当該領域の画像を複数のグリッドに分割し、被監視物体が存在することが予想される一部のグリッドについて、グリッド毎に、被監視物体が存在する場合と、存在しない場合の画像を学習した学習済みモデルを作成し、入力された画像に対して前記学習済みモデルに基づき、当該グリッド内に被監視物体が存在するか否かを判定する画像解析サーバを備えたものであり、グリッド単位の簡易な処理で被監視物体の状態を検出でき、管理者はそれによって被監視物体の状態が正常かどうかを判断することができ、利便性を向上させることができるものである。

また、本画像解析システムの画像解析サーバ（本画像解析サーバ）は、各グリッドに被監視物体が存在する画像に「１（存在する）」を対応付け、存在しない画像に「０（存在しない）」を対応付けて学習させたモデルを搭載しており、画像が当該モデルに入力されると、物体が存在する確信度をグリッド単位で算出し、監視領域における複数のグリッドの確信度に基づいて、被監視物体が領域内に存在するか否か、また、物体が正常な状態か否かを判定するものであり、利便性を向上させることができるものである。

また、本画像解析システムの画像解析サーバは、複数のグリッドの確信度に基づいて監視領域内における被監視物体の存在又は非存在を判定し、いずれかのグリッドにおける確信度の値が、存在又は非存在の情報と矛盾する場合に異常を検出するものであり、外部の装置からの情報を必要とせず、画像データから被監視物体の異常を検出することができ、システムを簡易な構成で実現できるものである。さらに、本画像解析システムの画像解析サーバは、外部から被監視物体の状態を示すデータを受信して、受信した被監視物体の状態と、画像から判定したグリッド毎の被監視物体の有無とが一致しなかった場合に、異常を検出するものであり、管理者は、迅速に被監視物体の不具合を認識して対処できるものである。

また、本画像解析システムの画像解析サーバが、グリッド単位の画像とそれに対応する被監視物体の存在／非存在の情報の組を学習データとして蓄積しておき、学習データを用いて学習を行って新たなモデルを構築して、新たなモデルで学習済みモデルを更新することができるものであり、学習の精度及び検出精度をさらに向上させることができるものである。
また、本画像解析システムの画像解析サーバが、異常が検出された画像とそれに対応する被監視物体の存在又は非存在の情報を学習データから除くものであり、学習の精度及び検出精度をさらに向上させることができるものである。また、本実施の形態に係る画像解析方法（本画像解析方法）は、本画像解析システムの画像解析サーバにおける画像解析方法であり、本実施の形態に係る画像解析プログラム（本画像解析プログラム）は、本画像解析サーバに画像解析処理を行わせるプログラムである。

［本画像解析システムの構成：図１］
本画像解析システムの構成について図１を用いて説明する。図１は、本画像解析システムの構成図である。
尚、本実施の形態では、監視対象として、駐車場のゲートを監視するシステムを例として説明する。
図１に示すように、本画像解析システムは、画像解析サーバ１と、画像データベース（画像ＤＢ）２と、学習データ記憶部３とを備え、更に、ネットワーク７を介して画像解析サーバ１に接続される構成として、表示端末４と、カメラ５と、ゲート開閉装置６とを備えている。

画像解析サーバ１は、本システムの特徴部分であり、被監視物体の画像を解析して、その状態や異常を検出するサーバである。ここでは、被監視物体を駐車場ゲートに設けられたゲートバーとしている。
画像解析サーバ１は、制御部１１と、記憶部１２と、インタフェース１３とを備え、記憶部１２に記憶された処理プログラムを制御部１１で実行することで、画像データの収集、解析、及び後述する学習の機能を実現している。

画像解析サーバ１の特徴として、被監視物体の画像を、カメラで撮影した画像全体を解析対象とするのではなく、画面を複数の矩形領域（グリッド）に分割し、監視領域の中で被監視物体が存在する可能性が高いグリッドに限定して、画像解析を行う。
これにより、画面全体を処理対象とする場合に比べて処理が簡易となり、大幅に処理量を低減することができるものである。

つまり、本画像解析システムは、被監視物体がいつ現れてどのような動きをするのか予測できないような環境ではなく、被監視物体が定常的に存在する領域がほぼ一定であり、且つ被監視物体の動きが、予め決められた動作である場合に特に有効となるものである。

画像解析サーバ１の制御部１１は、ＡＩ（Artificial Intelligence）で実現される学習済みモデルを搭載している。
具体的には、制御部１１の学習済みモデルは、駐車場ゲートの開閉を行うバー（ゲートバー）が閉まっている（下りている）状態と開いている（上がっている）状態に対応する大量の画像について、各画像に「開状態」（「０」）又は「閉状態」（「１」）をタグ付けした教師データを読みこんで学習を行ったモデルである。

そして、本画像解析サーバ１は、運用中にも画像データとゲートバーの開閉状態の学習を継続して、学習済みモデルを随時更新（再学習）することで、画像解析の精度を向上させるものとなっている。
画像解析サーバ１の処理については後述する。

また、制御部１１にＡＩで実現されるモデルを搭載せず、開状態と閉状態の基準となる画像を用意しておき、パターンマッチング等の処理で画像解析を行うことも可能である。
この場合にも、対象となるグリッドのみの処理で済むため、従来に比べて大幅に処理を低減できるものである。

画像ＤＢ２は、カメラ５で撮影されてネットワーク７を介して受信した監視領域の画像を、撮影日時と共に蓄積する。
学習データ記憶部３は、画像解析サーバ１の解析モデルを更に学習するための学習データ（教師データ）を記憶する。学習データについては後述するが、本システムの運用中に取得された画像データとゲートバーの開閉状態とを対応付けた画像であり、本システムの特徴として、グリッド単位の学習データとしている。

表示端末４は、管理者が操作閲覧可能なパーソナルコンピュータ等であり、画像解析サーバ１からの異常報知信号を受信して、アラームを表示する。
カメラ５は、被監視物体であるゲートバーが開いた状態及び閉じた状態を撮影可能な所定の位置に固定設置され、ゲートバーの画像を撮影してネットワーク７を介して画像解析サーバ１に送信する。また、カメラ５は、パン、チルト、ズームが固定された状態で運用される。

ゲート開閉装置６は、ゲートバーの上げ下げ（開閉）を制御する装置であり、ゲートバーを保持して開閉動作を行う開閉機構を備えている。「ゲートバーの開閉」を「ゲートの開閉」と称することがある。
また、ゲート開閉装置６は、現在のゲートの開閉状態を示すデータ（ゲート開閉情報）を画像解析サーバ１に通知する。
画像解析サーバ１では、カメラ５からの画像データと、ゲート開閉装置６から取得したゲートの開閉状態とを対応付けて、モデルの再学習を行ったり、あるいは、被監視対象（ゲートバー）の異常（例えば、動作不良、折れ、割れ、切断）を検出したりする。

［本画像解析方法の概略：図２］
次に、本画像解析システムにおける画像解析方法の概略について図２を用いて説明する。図２は、本画像解析方法の概略を示す説明図である。
図２（ａ）に示す画像において、ゲートバーは、画面右手前側がゲート開閉装置６に取り付けられた部分であり、画面左手奥側が先端部分である。先端部分にはゲートバーを保持するホルダーが設けられている。
ゲートバーは、ゲート開閉装置６によって駆動され、例えばゲート開閉装置６に取り付けられた部分を中心として、先端部分が円弧を描くように上下して、ゲートの開閉が行われる。

本システムでは、カメラ５の位置、パン、チルト、ズームが固定されているため、ゲートバーが閉状態のときに通常存在する領域は、ほぼ一定である。
そこで、画像解析サーバ１は、画像を複数のグリッドに分割し、ゲートバーが通常存在する領域を抽出して、当該グリッドのみについて画像解析を行う。つまり、どの画像についても画面上で同一位置となるグリッドの画像を解析する。図２の例では、９個のグリッドが抽出され、それぞれグリッド番号（図示せず）が付されている。

具体的には、画像解析サーバ１は、予め設定したグリッド番号毎に、ゲートが開状態の画像と、閉状態の画像を読み込んで、開状態の画像に「０」、閉状態の画像に「１」をタグ付けして学習済みモデルを構築しておく。
尚、ゲートの先端を保持するホルダーや近隣の建物（図示せず）等は、背景画像として、ゲートバーの画像解析に影響を与えないように学習が行われる。

そして、カメラ５からの画像が入力されると、画像解析サーバ１は、グリッド番号毎に、当該グリッド内にゲートバーが存在する確信度（０以上１以下の値）を算出する。図２（ｂ）には、グリッド毎の確信度の例を示している。
そして、画像解析サーバ１は、得られた確信度に基づいて、例えば、ゲートの開閉状態が「閉」にもかかわらず、グリッドにおけるゲートバーが存在する確信度が低い場合には、当該グリッドにはゲートバーが存在しないと判断して、異常報知信号を出力する。

尚、図２の例では、ゲートバーを斜め横から見た画像（手前が太く、奥が細い）をそのまま用いてモデルを学習し、確信度を算出する場合を示しているが、ゲートバーを正面から見た状態（太さが一定）に画像を変換してから、学習及び確信度の算出を行ってもよい。
また、グリッドの大きさや位置は任意に設定可能である。

［異常検出の例：図３］
次に、本画像解析サーバ１における異常検出について図３を用いて説明する。図３は、画像解析サーバ１における異常検出の例を示す説明図である。
図３に示すように、ゲートバーが途中で折れてしまった場合、先端部分のグリッドにおける確信度が低くなる。
画像解析サーバ１は、このことを利用して、入力された画像から得られた確信度が、予め設定されたしきい値以上であれば当該グリッドにゲートバーが存在し、しきい値以下であればゲートバーが存在しない、と判定する。

例えば、確信度のしきい値を０．４と設定していた場合、図３の例では、最先端部分のグリッドの確信度は０．２、その右のグリッドの確信度は０．４であり、これらのグリッドにはゲートバーが存在しないと判定される。
ゲート開閉装置６からのゲート開閉情報が「閉」であり、いずれかのグリッドにおいてゲートバーが存在しなければ（確信度がしきい値以下であれば）、ゲート開閉情報と確信度に基づく存在の状態とが整合せず、画像解析サーバ１は、異常を検出して異常報知信号を出力する。先端部分の確信度が低い場合には、ゲートバーが何等かの破損（折れ、割れ、切断等）していることが予想されるものである。

また、ゲート開閉情報が「開」にもかかわらず、ゲートバーが存在している（確信度がしきい値以上である）グリッドがある場合にも異常を検出する。この場合には、ゲートバーは上がっているものの、バーが途中で折れて垂れ下がっている状態や、開閉機構の不具合、背景画像の変化による誤検出、といった異常が予想されるものである。

また、ゲート開閉情報が「閉」であり、且つ監視対象の全てのグリッドでゲートバーが存在する（確信度がしきい値以上である）と判定した場合や、開閉情報が「開」であり、且つ全てのグリッドでゲートバーが存在しないと判定した場合には、画像解析サーバ１は、ゲートバーの状態は正常であると検出する。
本システムでは、このようにしてゲートバーの状態や異常を検出するものである。
本システムの方法は、従来のパターンマッチングに比べて、日照変化や経年変化の影響を受けにくく、被監視物体の状態を正確に検知できるものである。

［画像解析サーバの処理：図４］
次に、画像解析サーバ１の処理について図４を用いて説明する。図４は、画像解析サーバ１の運用時の処理を示すフローチャートである。
図４に示すように、画像解析サーバ１は、カメラ５からの画像を入力し（Ｓ１１）、ゲート開閉装置６からのゲート開閉状態を入力すると（Ｓ１２）、受信した画像とゲート開閉状態を対応付けて、画像ＤＢ２に保存する（Ｓ１３）。

そして、画像解析サーバ１は、入力された画像から予め設定されたグリッドを切り出し（抽出し）、切り出されたグリッド毎に確信度を算出する（Ｓ１４）。
更に、画像解析サーバ１は、上述したように、グリッド毎の確信度をしきい値と比較し、ゲート開閉装置６からのゲート開閉情報と照合して、異常の有無を検出する（Ｓ１５）。

そして、画像解析サーバ１は、異常が検出されたかどうかを判断し（Ｓ１６）、異常が検出された場合（Ｙｅｓの場合）には、表示端末４に異常報知信号を出力する（Ｓ１７）。異常が検出される場合とは、上述したように、ゲート開閉情報と、確信度から得られるグリッドにおけるゲートバーの存在とが合致しない（整合しない、矛盾する）場合である。

また、処理Ｓ１６において、異常が検出されなかった場合（Ｎｏの場合）、画像解析サーバ１は、処理Ｓ１１，Ｓ１２で入力された画像及び対応する開閉状態を、学習データとして学習データＤＢに保存する（Ｓ１８）。
つまり、処理Ｓ１６で異常が検出された場合の画像及び開閉状態は、学習データとはしないものであり、学習の精度を低下させないようにしている。

この処理は、本システムの画像解析サーバ１の特徴の一つであり、正常な状態の画像と開閉状態を、モデルを学習するための教師データとして蓄積しておき、例えば定期的に再学習を行って新しいモデルを構築して、運用に用いるモデルを更新するものである。
これにより、画像解析サーバ１における解析精度を向上させることができるものである。例えば、背景画像の変化を適宜反映させることができ、これにより、現場風景の変化にもリアルタイムで対応することができるため、より精度の高い画像解析を行うことが可能となる。

尚、駐車場ゲートを監視する場合、通常は閉状態で、車両が通行する場合のみ開状態となるため、開状態の画像は全て保存するものの、閉状態の画像は保存頻度を低くしてもよい。
例えば、処理Ｓ１８において、保存しようとする画像が開状態のものであればそのまま学習データＤＢに保存し、閉状態のものであれば、前回の保存から一定時間（例えば３０分）経過していた場合に保存する、といった方法が考えられる。
そして、画像解析サーバ１は、処理Ｓ１８が完了すると、処理Ｓ１１に戻って次の画像について同様の処理を繰り返す。
このようにして、画像解析サーバ１の運用時の処理が行われるものである。

［画像データの例：図５］
次に、画像ＤＢ２に記憶されている画像データの例について図５を用いて説明する。図５は、画像データの例を示す説明図である。
図５に示すように、画像データは、ＩＤごとに、画像ファイルと、開閉状態と、撮影時刻（年月日－時分秒）を記憶している。図では、撮影時刻は同一に記載されているが、それぞれ異なるものである。画像ＤＢ２には、正常、異常に関わらず、取得した画像が記憶される。
開閉状態が「開」の画像は、背景画像として利用するよう別に保存してもよい。

［学習データの例：図６］
次に、学習データ記憶部３に記憶されている学習データについて図６を用いて説明する。図６は、学習データの例を示す説明図である。
学習データは、モデルを再学習するための教師データとなるものであり、運用中に取得した画像と開閉状態とを用いて生成するものである。
図６に示すように、学習データは、グリッド番号毎に、グリッドの画像とその時の開閉状態とを対応付けて記憶したものである。開閉状態は、ゲート開閉装置６から取得した情報である。

つまり、画像解析装置１は、図４に示した処理Ｓ１８において、処理Ｓ１４で抽出したグリッド毎の正常時の画像と、開閉状態とを対応付けて学習データとして保存する。
そして、画像解析サーバ１は、学習データを用いて学習を行って新しいモデルを構築し、新しいモデルが生成されると、古いモデルを新しいモデルで更新して（置き換えて、切り替えて）、画像解析処理に用いる。
これにより、本システムでは、画像解析サーバ１の運用中に、再学習用の学習データを蓄積することができ、特別に教師データを用意する必要がなく、容易に再学習を行って頻繁に学習済みモデルをアップデートし、解析精度を向上できるものである。

［再学習処理の概要：図７］
次に、画像解析サーバ１における再学習処理について図７を用いて説明する。図７は、画像解析サーバ１の再学習処理のフローチャートである。
画像解析サーバ１は、例えば定期的に再学習処理を行う。
図７に示すように、画像解析サーバ１は、学習データ記憶部３から学習データを読みこんで（Ｓ２１）、学習データを教師データとして学習を行って、モデルを再度構築（再学習）する（Ｓ２２）。
そして、画像解析サーバ１は、学習済みモデルを新たに生成されたモデルに切り替えて（Ｓ２３）、処理を終わる。これにより、その後は更新された学習済みモデルで運用が行われる。
このようにして再学習処理が行われるものである。

［本実施の形態の効果］
本システムによれば、画像解析サーバ１が、画像において、被監視物体としてのゲートバーが存在することが予想される一部の領域を複数のグリッドに分割し、グリッド毎に、ゲートバーが存在する画像に「１」を、存在しない画像に「０」を対応付けて学習させたモデルを搭載しており、画像が当該モデルに入力されると、グリッド毎にゲートバーが存在する確信度を算出して、当該確信度がしきい値以上であればグリッド内にゲートバーが存在し、しきい値未満であれば存在しないと判定すると共に、ゲート開閉装置６からゲートバーの開閉状態を示すゲート開閉情報を取得して、確信度から求めたゲートバーの存在／非存在とゲート開閉情報とが合致しない場合に異常報知信号を表示端末４に出力するようにしているので、全画面について処理を行うのではなく、一部だけをグリッドとして取り出して画像解析を行うことで、処理量を大幅に低減でき、異常を迅速に検知して報知することができ、また、日照変化や経年変化の影響を受けにくく、正しく物体の状態を検知することができる効果がある。
特に、決まった動きを行う特定の被監視物体についての監視を行う場合には、一層有効である。

また、本システムによれば、画像解析サーバ１が、ゲートバーの状態が正常と判断した場合に、カメラ５からの画像と、ゲート開閉装置６からのゲート開閉情報に基づいて、グリッド単位の画像を抽出し、ゲート開閉情報を対応付けて学習データとして学習データ記憶部３に記憶しておき、当該学習データを用いて、例えば定期的に再学習して新たなモデルを生成し、学習済みモデルを更新するようにしているので、運用中に取得した画像から学習データを生成でき、効率的に再学習を行ってモデルを頻繁に更新することができ、画像解析精度を向上させることができる効果がある。

また、ここでは、駐車場のゲートを監視する場合を例として説明したが、これに限るものではなく、同じような動作が繰り返し行われる被監視物体を定点カメラで撮影して、状態や異常を検出するものであれば、同様の構成でシステムを実現することが可能である。
例えば、電車の入線監視、ホームドアの開閉状態監視、決まった動作を行うロボットアームの動作監視、踏切の遮断桿の監視等にも用いられる。また、電車のドア上部にカメラを設置すれば、ドアに異物が挟まっているかどうかを監視することも可能である。

さらに、上述した実施の形態では、複数のグリッドとして例えば９個のグリッドのみを学習したモデルで判定した例を説明した。しかし、本発明はこれに限定されるものではなく、図２においてゲートバーが写っている２～３行分のグリッドを用いて学習したモデルで判定する方法でもよい。

この場合、ゲートバーが存在しているグリッド以外のグリッドは常に背景なので、背景である部分はすべて「０」として学習すると効率が良い。
つまり、グリッド毎に「０」と「１」を判定する学習モデルを作るのではなく、数行分の複数グリッドを一つの画像として入力し、背景部分を「０」、ゲートバー部分を「１」としたマップを教師データとして学習させて学習済みモデルを生成し、推論時の出力も確信度のマップを出力する。この方法はいわゆるグリッドセグメンテーションである。

そして、この方法における異常検出、および、ゲートバーの存在有無は、予め用意した判定用の確信度マップと、学習済みモデルにより出力されたマップとを比較、つまり、確信度の分布を比較して類似しているか否かに応じて判断してもよい。

この類似しているか否かの判断は、例えば、画像の相関を見る指標であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いる方法や、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を用いる方法、又はＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）を用いることにより実施する。
なお、分布の類似度を見るのではなく、上述した実施の形態と同様に、両マップの各グリッドにおける確信度をグリッド毎に比較することで異常検出、および、ゲートバーの存在有無を判断してもよい。

また、再学習のための学習データは、上述した実施の形態と同じく、外部から取得したゲート開閉を示す制御情報に基づいて容易に生成でき、数行分のグリッドのうち、予めゲートが存在することが分かっているグリッドに「１」、背景部分に「０」を割り当てたマップとして作成して学習データ記録部３に記録してもよい。なお、図６のように数行分のグリッド毎にテーブルで管理しても、グリッド番号はＸ－Ｙ座標に対応しているため、該当時刻における画像マップを再構成することができ、グリッドセグメンテーションに利用できる。

なお、上述した実施の形態では、外部から取得するゲートの存在又は非存在を示す情報として、ゲート開閉装置６から取得したゲート開閉を示す制御情報を例にあげて説明した。しかし、本発明はこれに限定されるものではなく、ゲート開閉時に出力される音や、信号機などの点灯器の点灯状態に基づいて取得してもよい。
音の場合はカメラ５の付近にマイクと音声解析装置を備えてゲートの存在又は非存在を示す情報を取得する。点灯器の点灯状態に基づく場合は、点灯器の制御信号や、カメラで撮影した画像に基づく点灯状態の解析結果をゲートの存在又は非存在を示す情報とする。

［画像サーバの別の例］
次に、本発明の別の実施の形態に係る画像解析サーバ（別の画像解析サーバ）について説明する。別の画像解析サーバの構成は、図１に示した画像解析サーバ１の構成と同様である。
別の画像解析サーバも、図１に示した画像解析システムで用いられるものであるが、ゲート開閉装置６からのゲート開閉情報を取得せず、画像情報のみからゲートの開閉を判断するようにしている。

具体的には、別の画像解析サーバは、監視対象の複数のグリッドについて、グリッド毎に確信度を算出した後、複数のグリッド全体の確信度の分布に基づいて、ゲートバーの有無（開閉状態）を判定する。
例えば、別の画像解析サーバは、複数のグリッド全体における確信度の平均値を求め、平均値が第１のしきい値（例えば０．６）以上であった場合には、ゲートバーが閉状態であると判定し、平均値が第２のしきい値（例えば０．４）以下であった場合には、ゲートバーが開状態であると判定する。
また、別の画像解析サーバは、予め設定したグリッド番号毎に、ゲートが開状態の画像と、閉状態の画像を読み込んで、開状態の画像に「０」、閉状態の画像に「１」をタグ付けして学習済みモデルを構築しておく方法に限らず、各グリッド内のゲートバーの画素数の割合を使って小数値で表す方法でもよい。

確信度の平均値が第１のしきい値と第２のしきい値の間になった場合には、別の画像解析サーバは、ゲートの開閉状態を判定せず、ペンディングとして表示端末４に画像を送信し、表示端末４で表示された画像を管理者が見て、ゲートバーの有無を判断するようにしてもよい。
そして、画像ＤＢ２に画像ファイルと、判定したゲート開閉状態（１又は０）と、撮影時刻とを対応付けて記憶しておく。

そして、別の画像解析サーバは、ゲートが閉状態と判定されたにもかかわらず、個々のグリッドにおける確信度が低い場合には、異常を検出する。
例えば、切り出されたグリッド全体の確信度の平均から、ゲートバーがあると判定されたのに、先端部分のグリッドの確信度がとても低い（例えば０．３未満）場合には、異常と判断して、異常報知信号を出力する。この場合、ゲートバーが先端部分で折れたことなどが想定される。

また、別の画像解析サーバは、本画像解析サーバと同様に、運用中に取得した正常状態のグリッド毎の画像と、判定したゲート開閉状態とを対応付けて学習データ記憶部３に蓄積しておき、モデルの再学習に用いる。

更に、別の画像解析サーバでは、画像のグリッド全体の確信度からゲート開閉状態を判定すると共に、ゲート開閉装置６からのゲート開閉情報を取得して、両者を照合して異常を検出することも可能である。
例えば、ゲート開閉装置６からの情報が閉状態であるにも関わらず、画像からのグリッド全体に基づく判定では開状態となっている場合には、開閉機構等の不具合が予想される。

［別の画像解析サーバの効果］
別の画像解析サーバによれば、監視対象の複数のグリッドについて、グリッド毎に確信度を算出し、更に複数のグリッド全体の確信度の分布に基づいて、ゲートバーの有無を判定し、その判定結果と個々のグリッドにおける確信度の整合性から、異常を検出するようにしているので、ゲート開閉装置からゲート開閉状態を示す情報を取得できない場合でも、別の画像解析サーバだけで異常を検出することができ、簡易な構成でシステムを構築できる効果がある。

本発明は、特定の対象物の状態を監視し、処理量を増大させることなく、異常を迅速に検出して報知することができる画像解析システム、画像解析方法及び画像解析プログラムに適している。

１…画像解析サーバ、 ２…画像データベース、 ３…学習データ記憶部、 ４…表示端末、 ５…カメラ、 ６…ゲート開閉装置、 ７…ネットワーク、 １１…制御部、 １２…記憶部、 １３…インタフェース

Claims (7)

1. 入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバを有する画像解析システムであって、
   前記画像解析サーバが、前記監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドに前記被監視物体が存在する画像に「１」を対応付け、存在しない画像に「０」を対応付けて学習させた学習済みモデルを備え、前記学習済みモデルを用いて、入力された画像について前記グリッド毎に前記被監視物体が存在する確信度を算出し、複数の前記グリッドの前記確信度の平均値と、しきい値と、の比較結果に基づいて前記監視領域内における前記被監視物体の存在又は非存在を判定し、少なくとも一つの前記グリッドにおける前記確信度の値が、前記存在又は非存在の情報と矛盾する場合に異常を検出することを特徴とする画像解析システム。
2. 入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバを有する画像解析システムであって、
   前記画像解析サーバが、前記監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドに前記被監視物体が存在する画像に「１」を対応付け、存在しない画像に「０」を対応付けて学習させた学習済みモデルを備え、前記学習済みモデルを用いて、入力された画像について前記グリッド毎に前記被監視物体が存在する確信度を算出し、外部から、前記監視領域内における前記被監視物体の存在又は非存在を示す情報を取得して、少なくとも一つの前記グリッドにおける前記確信度の値が、前記存在又は非存在を示す情報と矛盾する場合に異常を検出することを特徴とする画像解析システム。
3. 入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバを有する画像解析システムであって、
   前記画像解析サーバが、前記監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドに前記被監視物体が存在する画像に「１」を対応付け、存在しない画像に「０」を対応付けて学習させた学習済みモデルを備え、前記学習済みモデルを用いて、入力された画像について前記グリッド毎に前記被監視物体が存在する確信度を算出し、外部から、前記監視領域内における前記被監視物体の存在又は非存在を示す情報を取得するとともに、複数のグリッドの確信度の平均値と、しきい値と、の比較結果に基づいて前記監視領域内における前記被監視物体の存在又は非存在を判定し、前記外部から取得した前記被監視物体の存在又は非存在を示す情報と、前記判定の結果とが異なる場合に異常を検出することを特徴とする画像解析システム。
4. 前記画像解析サーバが、グリッド単位の画像とそれに対応する前記被監視物体の存在又は非存在の情報の組を学習データとして蓄積しておき、前記学習データを用いて学習を行って新たなモデルを構築して、前記新たなモデルで学習済みモデルを更新することを特徴とする請求項１から３のいずれか１項に記載の画像解析システム。
5. 前記画像解析サーバが、異常が検出された画像とそれに対応する被監視物体の存在又は非存在の情報を学習データから除くことを特徴とする請求項４記載の画像解析システム。
6. 入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析方法であって、
   前記監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドに被監視物体が存在する画像に「１」を対応付け、存在しない画像に「０」を対応付けて学習させた学習済みモデルを生成し、前記学習済みモデルを用いて、入力された画像について前記グリッド毎に前記被監視物体が存在する確信度を算出し、
   外部から、前記監視領域内における前記被監視物体の存在又は非存在を示す情報を取得して、少なくとも一つの前記グリッドにおける前記確信度の値が、前記存在又は非存在を示す情報と矛盾する場合に異常を検出することを特徴とする画像解析方法。
7. 入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバで動作する画像解析プログラムであって、
   前記画像解析サーバが、前記監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドに前記被監視物体が存在する画像に「１」を対応付け、存在しない画像に「０」を対応付けて学習させた学習済みモデルを生成し、前記学習済みモデルを用いて、入力された画像について前記グリッド毎に前記被監視物体が存在する確信度を算出し、外部から、前記監視領域内における被監視物体の存在又は非存在を示す情報を取得して、少なくとも一つの前記グリッドにおける確信度の値が、前記存在又は非存在の情報と矛盾する場合に異常を検出するよう機能させることを特徴とする画像解析プログラム。

Images