JP7372446B2 - 画像解析システム、画像解析方法及び画像解析プログラム - Google Patents
画像解析システム、画像解析方法及び画像解析プログラム Download PDFInfo
- Publication number
- JP7372446B2 JP7372446B2 JP2022509908A JP2022509908A JP7372446B2 JP 7372446 B2 JP7372446 B2 JP 7372446B2 JP 2022509908 A JP2022509908 A JP 2022509908A JP 2022509908 A JP2022509908 A JP 2022509908A JP 7372446 B2 JP7372446 B2 JP 7372446B2
- Authority
- JP
- Japan
- Prior art keywords
- image analysis
- image
- monitored object
- grid
- existence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010191 image analysis Methods 0.000 title claims description 162
- 238000003703 image analysis method Methods 0.000 title claims description 17
- 230000005856 abnormality Effects 0.000 claims description 56
- 238000012544 monitoring process Methods 0.000 claims description 54
- 238000000034 method Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 description 32
- 238000001514 detection method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Description
従来、撮像した画像情報を用いて不審物を検知したり、異常状態(非定常状態)を検知したりする画像解析システムがある。
これらのシステムでは、不審物や非定常状態を検出するために、例えばパターンマッチングの手法が用いられている(特許文献1,2)。
パターンマッチングでは、監視範囲の基準画像と、撮像装置が撮影した画像とを比較して画素毎に差分を算出し、差分が大きい場合には、当該領域に不審物があると検出したり、非定常状態となっていることを検出したりする。
尚、画像解析システムの従来技術としては、特開2011-61651号公報「不審物検知システム」(特許文献1)、特開2010-171705号公報「監視映像検索装置及び監視映像検索プログラム」(特許文献2)がある。
特許文献2には、最新の監視画像データと過去の監視画像データとを比較してパターンマッチングを行い、画素の移動量を算出して、移動体を検出することが記載されている。
また、本発明は、入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバを有する画像解析システムであって、画像解析サーバが、監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、グリッド毎に、当該グリッドに被監視物体が存在する画像に「1」を対応付け、存在しない画像に「0」を対応付けて学習させた学習済みモデルを備え、学習済みモデルを用いて、入力された画像についてグリッド毎に被監視物体が存在する確信度を算出し、外部から、監視領域内における被監視物体の存在又は非存在を示す情報を取得するとともに、複数のグリッドの確信度の平均値と、しきい値と、の比較結果に基づいて監視領域内における被監視物体の存在又は非存在を判定し、外部から取得した被監視物体の存在又は非存在を示す情報と、判定の結果とが異なる場合に異常を検出することを特徴としている。
また、本発明によれば、入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバを有する画像解析システムであって、画像解析サーバが、監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、グリッド毎に、当該グリッドに被監視物体が存在する画像に「1」を対応付け、存在しない画像に「0」を対応付けて学習させた学習済みモデルを備え、学習済みモデルを用いて、入力された画像についてグリッド毎に被監視物体が存在する確信度を算出し、外部から、監視領域内における被監視物体の存在又は非存在を示す情報を取得するとともに、複数のグリッドの確信度の平均値と、しきい値と、の比較結果に基づいて監視領域内における被監視物体の存在又は非存在を判定し、外部から取得した被監視物体の存在又は非存在を示す情報と、判定の結果とが異なる場合に異常を検出する画像解析システムとしているので、画像全体ではなく予め設定された特定領域のみの解析で判定が可能となり、処理量を大幅に低減でき、また、被監視物体の管理者は、判定結果に基づいて迅速に異常を認識して対応でき、学習済みモデルを用いた処理によって検出精度を向上でき、画像データから被監視物体の異常を検出することができる効果がある。
また、本発明によれば、画像解析サーバが、異常が検出された画像とそれに対応する被監視物体の存在又は非存在の情報を学習データから除く上記画像解析システムとしているので、学習の精度及び検出精度をさらに向上させることができる効果がある。
[実施の形態の概要]
本発明の実施の形態に係る画像解析システムは、監視領域に存在する物体(被監視物体)の状態を監視するものであり、当該領域の画像を複数のグリッドに分割し、被監視物体が存在することが予想される一部のグリッドについて、グリッド毎に、被監視物体が存在する場合と、存在しない場合の画像を学習した学習済みモデルを作成し、入力された画像に対して前記学習済みモデルに基づき、当該グリッド内に被監視物体が存在するか否かを判定する画像解析サーバを備えたものであり、グリッド単位の簡易な処理で被監視物体の状態を検出でき、管理者はそれによって被監視物体の状態が正常かどうかを判断することができ、利便性を向上させることができるものである。
また、本画像解析システムの画像解析サーバが、異常が検出された画像とそれに対応する被監視物体の存在又は非存在の情報を学習データから除くものであり、学習の精度及び検出精度をさらに向上させることができるものである。また、本実施の形態に係る画像解析方法(本画像解析方法)は、本画像解析システムの画像解析サーバにおける画像解析方法であり、本実施の形態に係る画像解析プログラム(本画像解析プログラム)は、本画像解析サーバに画像解析処理を行わせるプログラムである。
本画像解析システムの構成について図1を用いて説明する。図1は、本画像解析システムの構成図である。
尚、本実施の形態では、監視対象として、駐車場のゲートを監視するシステムを例として説明する。
図1に示すように、本画像解析システムは、画像解析サーバ1と、画像データベース(画像DB)2と、学習データ記憶部3とを備え、更に、ネットワーク7を介して画像解析サーバ1に接続される構成として、表示端末4と、カメラ5と、ゲート開閉装置6とを備えている。
画像解析サーバ1は、制御部11と、記憶部12と、インタフェース13とを備え、記憶部12に記憶された処理プログラムを制御部11で実行することで、画像データの収集、解析、及び後述する学習の機能を実現している。
これにより、画面全体を処理対象とする場合に比べて処理が簡易となり、大幅に処理量を低減することができるものである。
具体的には、制御部11の学習済みモデルは、駐車場ゲートの開閉を行うバー(ゲートバー)が閉まっている(下りている)状態と開いている(上がっている)状態に対応する大量の画像について、各画像に「開状態」(「0」)又は「閉状態」(「1」)をタグ付けした教師データを読みこんで学習を行ったモデルである。
画像解析サーバ1の処理については後述する。
この場合にも、対象となるグリッドのみの処理で済むため、従来に比べて大幅に処理を低減できるものである。
学習データ記憶部3は、画像解析サーバ1の解析モデルを更に学習するための学習データ(教師データ)を記憶する。学習データについては後述するが、本システムの運用中に取得された画像データとゲートバーの開閉状態とを対応付けた画像であり、本システムの特徴として、グリッド単位の学習データとしている。
カメラ5は、被監視物体であるゲートバーが開いた状態及び閉じた状態を撮影可能な所定の位置に固定設置され、ゲートバーの画像を撮影してネットワーク7を介して画像解析サーバ1に送信する。また、カメラ5は、パン、チルト、ズームが固定された状態で運用される。
また、ゲート開閉装置6は、現在のゲートの開閉状態を示すデータ(ゲート開閉情報)を画像解析サーバ1に通知する。
画像解析サーバ1では、カメラ5からの画像データと、ゲート開閉装置6から取得したゲートの開閉状態とを対応付けて、モデルの再学習を行ったり、あるいは、被監視対象(ゲートバー)の異常(例えば、動作不良、折れ、割れ、切断)を検出したりする。
次に、本画像解析システムにおける画像解析方法の概略について図2を用いて説明する。図2は、本画像解析方法の概略を示す説明図である。
図2(a)に示す画像において、ゲートバーは、画面右手前側がゲート開閉装置6に取り付けられた部分であり、画面左手奥側が先端部分である。先端部分にはゲートバーを保持するホルダーが設けられている。
ゲートバーは、ゲート開閉装置6によって駆動され、例えばゲート開閉装置6に取り付けられた部分を中心として、先端部分が円弧を描くように上下して、ゲートの開閉が行われる。
そこで、画像解析サーバ1は、画像を複数のグリッドに分割し、ゲートバーが通常存在する領域を抽出して、当該グリッドのみについて画像解析を行う。つまり、どの画像についても画面上で同一位置となるグリッドの画像を解析する。図2の例では、9個のグリッドが抽出され、それぞれグリッド番号(図示せず)が付されている。
尚、ゲートの先端を保持するホルダーや近隣の建物(図示せず)等は、背景画像として、ゲートバーの画像解析に影響を与えないように学習が行われる。
そして、画像解析サーバ1は、得られた確信度に基づいて、例えば、ゲートの開閉状態が「閉」にもかかわらず、グリッドにおけるゲートバーが存在する確信度が低い場合には、当該グリッドにはゲートバーが存在しないと判断して、異常報知信号を出力する。
また、グリッドの大きさや位置は任意に設定可能である。
次に、本画像解析サーバ1における異常検出について図3を用いて説明する。図3は、画像解析サーバ1における異常検出の例を示す説明図である。
図3に示すように、ゲートバーが途中で折れてしまった場合、先端部分のグリッドにおける確信度が低くなる。
画像解析サーバ1は、このことを利用して、入力された画像から得られた確信度が、予め設定されたしきい値以上であれば当該グリッドにゲートバーが存在し、しきい値以下であればゲートバーが存在しない、と判定する。
ゲート開閉装置6からのゲート開閉情報が「閉」であり、いずれかのグリッドにおいてゲートバーが存在しなければ(確信度がしきい値以下であれば)、ゲート開閉情報と確信度に基づく存在の状態とが整合せず、画像解析サーバ1は、異常を検出して異常報知信号を出力する。先端部分の確信度が低い場合には、ゲートバーが何等かの破損(折れ、割れ、切断等)していることが予想されるものである。
本システムでは、このようにしてゲートバーの状態や異常を検出するものである。
本システムの方法は、従来のパターンマッチングに比べて、日照変化や経年変化の影響を受けにくく、被監視物体の状態を正確に検知できるものである。
次に、画像解析サーバ1の処理について図4を用いて説明する。図4は、画像解析サーバ1の運用時の処理を示すフローチャートである。
図4に示すように、画像解析サーバ1は、カメラ5からの画像を入力し(S11)、ゲート開閉装置6からのゲート開閉状態を入力すると(S12)、受信した画像とゲート開閉状態を対応付けて、画像DB2に保存する(S13)。
更に、画像解析サーバ1は、上述したように、グリッド毎の確信度をしきい値と比較し、ゲート開閉装置6からのゲート開閉情報と照合して、異常の有無を検出する(S15)。
つまり、処理S16で異常が検出された場合の画像及び開閉状態は、学習データとはしないものであり、学習の精度を低下させないようにしている。
これにより、画像解析サーバ1における解析精度を向上させることができるものである。例えば、背景画像の変化を適宜反映させることができ、これにより、現場風景の変化にもリアルタイムで対応することができるため、より精度の高い画像解析を行うことが可能となる。
例えば、処理S18において、保存しようとする画像が開状態のものであればそのまま学習データDBに保存し、閉状態のものであれば、前回の保存から一定時間(例えば30分)経過していた場合に保存する、といった方法が考えられる。
そして、画像解析サーバ1は、処理S18が完了すると、処理S11に戻って次の画像について同様の処理を繰り返す。
このようにして、画像解析サーバ1の運用時の処理が行われるものである。
次に、画像DB2に記憶されている画像データの例について図5を用いて説明する。図5は、画像データの例を示す説明図である。
図5に示すように、画像データは、IDごとに、画像ファイルと、開閉状態と、撮影時刻(年月日-時分秒)を記憶している。図では、撮影時刻は同一に記載されているが、それぞれ異なるものである。画像DB2には、正常、異常に関わらず、取得した画像が記憶される。
開閉状態が「開」の画像は、背景画像として利用するよう別に保存してもよい。
次に、学習データ記憶部3に記憶されている学習データについて図6を用いて説明する。図6は、学習データの例を示す説明図である。
学習データは、モデルを再学習するための教師データとなるものであり、運用中に取得した画像と開閉状態とを用いて生成するものである。
図6に示すように、学習データは、グリッド番号毎に、グリッドの画像とその時の開閉状態とを対応付けて記憶したものである。開閉状態は、ゲート開閉装置6から取得した情報である。
そして、画像解析サーバ1は、学習データを用いて学習を行って新しいモデルを構築し、新しいモデルが生成されると、古いモデルを新しいモデルで更新して(置き換えて、切り替えて)、画像解析処理に用いる。
これにより、本システムでは、画像解析サーバ1の運用中に、再学習用の学習データを蓄積することができ、特別に教師データを用意する必要がなく、容易に再学習を行って頻繁に学習済みモデルをアップデートし、解析精度を向上できるものである。
次に、画像解析サーバ1における再学習処理について図7を用いて説明する。図7は、画像解析サーバ1の再学習処理のフローチャートである。
画像解析サーバ1は、例えば定期的に再学習処理を行う。
図7に示すように、画像解析サーバ1は、学習データ記憶部3から学習データを読みこんで(S21)、学習データを教師データとして学習を行って、モデルを再度構築(再学習)する(S22)。
そして、画像解析サーバ1は、学習済みモデルを新たに生成されたモデルに切り替えて(S23)、処理を終わる。これにより、その後は更新された学習済みモデルで運用が行われる。
このようにして再学習処理が行われるものである。
本システムによれば、画像解析サーバ1が、画像において、被監視物体としてのゲートバーが存在することが予想される一部の領域を複数のグリッドに分割し、グリッド毎に、ゲートバーが存在する画像に「1」を、存在しない画像に「0」を対応付けて学習させたモデルを搭載しており、画像が当該モデルに入力されると、グリッド毎にゲートバーが存在する確信度を算出して、当該確信度がしきい値以上であればグリッド内にゲートバーが存在し、しきい値未満であれば存在しないと判定すると共に、ゲート開閉装置6からゲートバーの開閉状態を示すゲート開閉情報を取得して、確信度から求めたゲートバーの存在/非存在とゲート開閉情報とが合致しない場合に異常報知信号を表示端末4に出力するようにしているので、全画面について処理を行うのではなく、一部だけをグリッドとして取り出して画像解析を行うことで、処理量を大幅に低減でき、異常を迅速に検知して報知することができ、また、日照変化や経年変化の影響を受けにくく、正しく物体の状態を検知することができる効果がある。
特に、決まった動きを行う特定の被監視物体についての監視を行う場合には、一層有効である。
例えば、電車の入線監視、ホームドアの開閉状態監視、決まった動作を行うロボットアームの動作監視、踏切の遮断桿の監視等にも用いられる。また、電車のドア上部にカメラを設置すれば、ドアに異物が挟まっているかどうかを監視することも可能である。
つまり、グリッド毎に「0」と「1」を判定する学習モデルを作るのではなく、数行分の複数グリッドを一つの画像として入力し、背景部分を「0」、ゲートバー部分を「1」としたマップを教師データとして学習させて学習済みモデルを生成し、推論時の出力も確信度のマップを出力する。この方法はいわゆるグリッドセグメンテーションである。
なお、分布の類似度を見るのではなく、上述した実施の形態と同様に、両マップの各グリッドにおける確信度をグリッド毎に比較することで異常検出、および、ゲートバーの存在有無を判断してもよい。
音の場合はカメラ5の付近にマイクと音声解析装置を備えてゲートの存在又は非存在を示す情報を取得する。点灯器の点灯状態に基づく場合は、点灯器の制御信号や、カメラで撮影した画像に基づく点灯状態の解析結果をゲートの存在又は非存在を示す情報とする。
次に、本発明の別の実施の形態に係る画像解析サーバ(別の画像解析サーバ)について説明する。別の画像解析サーバの構成は、図1に示した画像解析サーバ1の構成と同様である。
別の画像解析サーバも、図1に示した画像解析システムで用いられるものであるが、ゲート開閉装置6からのゲート開閉情報を取得せず、画像情報のみからゲートの開閉を判断するようにしている。
例えば、別の画像解析サーバは、複数のグリッド全体における確信度の平均値を求め、平均値が第1のしきい値(例えば0.6)以上であった場合には、ゲートバーが閉状態であると判定し、平均値が第2のしきい値(例えば0.4)以下であった場合には、ゲートバーが開状態であると判定する。
また、別の画像解析サーバは、予め設定したグリッド番号毎に、ゲートが開状態の画像と、閉状態の画像を読み込んで、開状態の画像に「0」、閉状態の画像に「1」をタグ付けして学習済みモデルを構築しておく方法に限らず、各グリッド内のゲートバーの画素数の割合を使って小数値で表す方法でもよい。
そして、画像DB2に画像ファイルと、判定したゲート開閉状態(1又は0)と、撮影時刻とを対応付けて記憶しておく。
例えば、切り出されたグリッド全体の確信度の平均から、ゲートバーがあると判定されたのに、先端部分のグリッドの確信度がとても低い(例えば0.3未満)場合には、異常と判断して、異常報知信号を出力する。この場合、ゲートバーが先端部分で折れたことなどが想定される。
例えば、ゲート開閉装置6からの情報が閉状態であるにも関わらず、画像からのグリッド全体に基づく判定では開状態となっている場合には、開閉機構等の不具合が予想される。
別の画像解析サーバによれば、監視対象の複数のグリッドについて、グリッド毎に確信度を算出し、更に複数のグリッド全体の確信度の分布に基づいて、ゲートバーの有無を判定し、その判定結果と個々のグリッドにおける確信度の整合性から、異常を検出するようにしているので、ゲート開閉装置からゲート開閉状態を示す情報を取得できない場合でも、別の画像解析サーバだけで異常を検出することができ、簡易な構成でシステムを構築できる効果がある。
Claims (7)
- 入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバを有する画像解析システムであって、
前記画像解析サーバが、前記監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドに前記被監視物体が存在する画像に「1」を対応付け、存在しない画像に「0」を対応付けて学習させた学習済みモデルを備え、前記学習済みモデルを用いて、入力された画像について前記グリッド毎に前記被監視物体が存在する確信度を算出し、複数の前記グリッドの前記確信度の平均値と、しきい値と、の比較結果に基づいて前記監視領域内における前記被監視物体の存在又は非存在を判定し、少なくとも一つの前記グリッドにおける前記確信度の値が、前記存在又は非存在の情報と矛盾する場合に異常を検出することを特徴とする画像解析システム。 - 入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバを有する画像解析システムであって、
前記画像解析サーバが、前記監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドに前記被監視物体が存在する画像に「1」を対応付け、存在しない画像に「0」を対応付けて学習させた学習済みモデルを備え、前記学習済みモデルを用いて、入力された画像について前記グリッド毎に前記被監視物体が存在する確信度を算出し、外部から、前記監視領域内における前記被監視物体の存在又は非存在を示す情報を取得して、少なくとも一つの前記グリッドにおける前記確信度の値が、前記存在又は非存在を示す情報と矛盾する場合に異常を検出することを特徴とする画像解析システム。 - 入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバを有する画像解析システムであって、
前記画像解析サーバが、前記監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドに前記被監視物体が存在する画像に「1」を対応付け、存在しない画像に「0」を対応付けて学習させた学習済みモデルを備え、前記学習済みモデルを用いて、入力された画像について前記グリッド毎に前記被監視物体が存在する確信度を算出し、外部から、前記監視領域内における前記被監視物体の存在又は非存在を示す情報を取得するとともに、複数のグリッドの確信度の平均値と、しきい値と、の比較結果に基づいて前記監視領域内における前記被監視物体の存在又は非存在を判定し、前記外部から取得した前記被監視物体の存在又は非存在を示す情報と、前記判定の結果とが異なる場合に異常を検出することを特徴とする画像解析システム。 - 前記画像解析サーバが、グリッド単位の画像とそれに対応する前記被監視物体の存在又は非存在の情報の組を学習データとして蓄積しておき、前記学習データを用いて学習を行って新たなモデルを構築して、前記新たなモデルで学習済みモデルを更新することを特徴とする請求項1から3のいずれか1項に記載の画像解析システム。
- 前記画像解析サーバが、異常が検出された画像とそれに対応する被監視物体の存在又は非存在の情報を学習データから除くことを特徴とする請求項4記載の画像解析システム。
- 入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析方法であって、
前記監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドに被監視物体が存在する画像に「1」を対応付け、存在しない画像に「0」を対応付けて学習させた学習済みモデルを生成し、前記学習済みモデルを用いて、入力された画像について前記グリッド毎に前記被監視物体が存在する確信度を算出し、
外部から、前記監視領域内における前記被監視物体の存在又は非存在を示す情報を取得して、少なくとも一つの前記グリッドにおける前記確信度の値が、前記存在又は非存在を示す情報と矛盾する場合に異常を検出することを特徴とする画像解析方法。 - 入力された監視領域の画像を解析して特定の被監視物体の状態を検出する画像解析サーバで動作する画像解析プログラムであって、
前記画像解析サーバが、前記監視領域の画像において、被監視物体が存在することが予想される一部の領域を複数のグリッドに分割し、前記グリッド毎に、当該グリッドに前記被監視物体が存在する画像に「1」を対応付け、存在しない画像に「0」を対応付けて学習させた学習済みモデルを生成し、前記学習済みモデルを用いて、入力された画像について前記グリッド毎に前記被監視物体が存在する確信度を算出し、外部から、前記監視領域内における被監視物体の存在又は非存在を示す情報を取得して、少なくとも一つの前記グリッドにおける確信度の値が、前記存在又は非存在の情報と矛盾する場合に異常を検出するよう機能させることを特徴とする画像解析プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020057507 | 2020-03-27 | ||
JP2020057507 | 2020-03-27 | ||
PCT/JP2021/009791 WO2021193101A1 (ja) | 2020-03-27 | 2021-03-11 | 画像解析システム、画像解析方法及び画像解析プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021193101A1 JPWO2021193101A1 (ja) | 2021-09-30 |
JPWO2021193101A5 JPWO2021193101A5 (ja) | 2022-09-09 |
JP7372446B2 true JP7372446B2 (ja) | 2023-10-31 |
Family
ID=77892003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022509908A Active JP7372446B2 (ja) | 2020-03-27 | 2021-03-11 | 画像解析システム、画像解析方法及び画像解析プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230125890A1 (ja) |
JP (1) | JP7372446B2 (ja) |
WO (1) | WO2021193101A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116882070B (zh) * | 2023-09-01 | 2023-11-14 | 中汽研汽车工业工程(天津)有限公司 | 一种面向整车制造的工业数字孪生管理*** |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019136918A (ja) | 2018-02-08 | 2019-08-22 | キヤノンファインテックニスカ株式会社 | ラミネート装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8660368B2 (en) * | 2011-03-16 | 2014-02-25 | International Business Machines Corporation | Anomalous pattern discovery |
JP6798854B2 (ja) * | 2016-10-25 | 2020-12-09 | 株式会社パスコ | 目的物個数推定装置、目的物個数推定方法及びプログラム |
JP7077046B2 (ja) * | 2018-02-14 | 2022-05-30 | キヤノン株式会社 | 情報処理装置、被写体の判別方法及びコンピュータプログラム |
-
2021
- 2021-03-11 US US17/909,458 patent/US20230125890A1/en active Pending
- 2021-03-11 JP JP2022509908A patent/JP7372446B2/ja active Active
- 2021-03-11 WO PCT/JP2021/009791 patent/WO2021193101A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019136918A (ja) | 2018-02-08 | 2019-08-22 | キヤノンファインテックニスカ株式会社 | ラミネート装置 |
Also Published As
Publication number | Publication date |
---|---|
US20230125890A1 (en) | 2023-04-27 |
JPWO2021193101A1 (ja) | 2021-09-30 |
WO2021193101A1 (ja) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109711320B (zh) | 一种值班人员违规行为检测方法及*** | |
CN109154976B (zh) | 通过机器学习训练对象分类器的***和方法 | |
CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
WO2021114866A1 (zh) | 遮挡图像检测方法、装置、电子设备及存储介质 | |
US7428314B2 (en) | Monitoring an environment | |
CN110428522A (zh) | 一种智慧新城的智能安防*** | |
CN111626188B (zh) | 一种室内不可控明火监测方法及*** | |
CN105426820B (zh) | 基于安防监控视频数据的多人异常行为检测方法 | |
KR102195706B1 (ko) | 침입 탐지방법 및 그 장치 | |
GB2408877A (en) | Environment monitoring wherein parts of images may be masked | |
CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
KR102488789B1 (ko) | 인공지능 기반 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램 | |
CN112949511A (zh) | 一种基于机器学习和图像识别的施工现场人员管理方法 | |
JP7372446B2 (ja) | 画像解析システム、画像解析方法及び画像解析プログラム | |
JP6621092B1 (ja) | 危険度判別プログラム及びシステム | |
KR20220150614A (ko) | 화재 감지 서버, 방법 및 컴퓨터 프로그램 | |
CN116740627A (zh) | 基于操作知识的违章告警方法 | |
CN115909144A (zh) | 一种基于对抗学习的监控视频异常检测方法及*** | |
CN114694090A (zh) | 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法 | |
JP6739115B6 (ja) | 危険度判別プログラム及びシステム | |
CN112183310A (zh) | 冗余监控画面过滤及无效监控画面筛选的方法及*** | |
CN116156149B (zh) | 一种用于检测摄像头移动的检测方法及装置 | |
Fu et al. | Research on detection and recognition of abnormal behavior in video | |
CN111062337B (zh) | 人流方向检测方法及装置、存储介质和电子设备 | |
KR102614856B1 (ko) | 군중 난류 위험 예측 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220630 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231019 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7372446 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |