JP6451133B2 - 異常検知装置、異常検知方法、異常検知システム、及びプログラム - Google Patents
異常検知装置、異常検知方法、異常検知システム、及びプログラムInfo
- Publication number
- JP6451133B2 JP6451133B2 JP2014157696A JP2014157696A JP6451133B2 JP 6451133 B2 JP6451133 B2 JP 6451133B2 JP 2014157696 A JP2014157696 A JP 2014157696A JP 2014157696 A JP2014157696 A JP 2014157696A JP 6451133 B2 JP6451133 B2 JP 6451133B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- still image
- target image
- abnormality detection
- monitoring target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
- G06F18/41—Interactive pattern learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Description
このような異常検知装置は、例えば、監視システム等に用いられ、映像データより取得されるフレームの各画素位置における画素値の変化により異常を検知している。
特許文献1には、異常を表す特定の挙動パターンを予め登録しておき、検知対象となる映像データが、特定の挙動に該当するか否かを判定し、該当すると、その旨をアラートとして報知する異常検知装置が記載されている。
図1は、本発明の実施形態に係る異常検知装置の概略ブロック図である。
異常検知装置300は、撮影装置100、外部記憶装置200、入力装置400、表示装置500及び外部接続機器600と接続することで、異常検知システム1を構成する。
なお、撮影装置100により監視のために被写対象を撮影した映像を本発明では監視対象映像という。また、監視対象映像から所定の条件により抽出され、所定の方法により取得された静止画像を、本発明では、監視対象画像という。
なお、撮影装置100は、異常検知装置300内部の映像データ記憶部350(図2)とは別に、外部の映像記憶手段としても機能し、撮影装置100自体において撮影時の映像データを記憶することもできる。したがって、撮影装置100に記憶した映像データを、異常検知装置300に転送することもできる。
また、撮影装置100以外の撮影装置で撮影し、その撮影装置自体に映像データを記憶させる場合、その撮影装置を外部記憶装置200とすることもできる。この場合、その撮影装置のメモリカードをメモリスロット320(図2)に挿入することで、またUSB(Universal Serial Bus)ケーブルをUSB等接続インタフェース(I/F)330(図2)に接続することで、映像データを転送することができる。
なお、外部記憶装置200に記憶された画像であって、監視のために撮影する同一の被写対象における正常時の映像を本発明では比較対象映像という。また、比較対象映像から所定の条件により抽出され、所定の方法により取得された静止画像を、本発明では、比較対象画像という。
異常検知装置300は、異常を検知すると、アラートを発報し、監視対象画像と比較対象画像の比較結果(即ち、差分を示す画像)を表示装置500、又は外部接続機器600の表示領域(例えば、ディスプレイ、スクリーン等)に表示させる。
なお、異常検知装置300は、LAN(Local Area Network)やインターネット等のネットワークに接続することもできる。また、異常検知装置300には、異常を検知する上で必要なソフトウェアがインストールされている。
表示装置(以下、モニタ)500は、例えば、液晶表示装置等である。モニタ500は、現在、異常検知装置300に接続されている撮影装置100により撮影されている映像、及び/又は異常検知装置300内の映像データ記憶部350(図2)に記憶されている映像、それらの映像から取得した静止画像、並びに異常検知装置300にインストールされたソフトウェアの操作画面等を表示する。
また、外部接続機器600は、LANケーブル等の有線、又は、Wi−Fi(Wireless Fidelity)等の無線LAN、Bluetooth(登録商標)等の無線で、異常検知装置300に接続される。
なお、外部接続機器600のディスプレイ、又はスクリーンの表示仕様は、モニタ500の表示仕様と同様である。
異常検知装置300は、映像データ等の入出力機能として、外部映像入力部310、メモリスロット320、USB等接続インタフェース330、ユーザインタフェース340、外部映像出力部370、LANポート380、無線インタフェース390を備え、また異常検知機能として、異常検知装置300内部に、映像データ記憶部350、時刻管理部351、設定情報取得部352、フレーム比較部353、フレーム比較データ記憶部354、静止画像抽出部355、静止画像データ記憶部356、代表静止画像取得部357、静止画像記憶部358、マスク画像生成部359、異常検知部360、アラート発報部361、表示制御部362を備える。
なお、以上の各部のうち、時刻管理部351、設定情報取得部352、フレーム比較部353、静止画像抽出部355、代表静止画像取得部357、マスク画像生成部359、異常検知部360、アラート発報部361、表示制御部362は、異常検知装置300のコンピュータにプログラムを読み取らせることにより生成される機能実現手段である。
メモリスロット320は、撮影装置100以外の撮影装置により撮影された映像データを記憶したメモリカードを挿入し、映像データを転送するためのスロットである。
ユーザインタフェース340は、異常検知装置300の電源操作、静止画像の記憶、選択及び表示の制御、アラートの音量調整等、ユーザが異常検知装置300に対して直接、操作するためのインタフェースである。
また、映像データ記憶部350は、外部記憶装置200よりメモリスロット320、又はUSB等接続インタフェース330を介して転送される映像データも、同様にフレーム単位で記憶する。
設定情報取得部352は、異常を検知する上で必要な情報を取得する。
例えば、比較対象画像と監視対象画像とを比較し、その比較結果(差分)に基づきアラートを発報する場合、ユーザにより設定される、アラートの発報対象と判定する閾値を、設定情報取得部352は設定情報として取得する。
本実施形態では、画素値の差分を計算する上で、RGB値を用いる。
RGB値で比較する場合、先ず、比較するフレーム1(r1、g1、b1)及びフレーム2(r2、g2、b2)の各画素に関して、RGB値の差分の絶対値(即ち、|r1−r2|、|g1−g2|、|b1−b2|)を計算する。次に、各々の計算結果が設定した所定の閾値(ここでは、所定の感度という)以上となる画素数をカウントし、そのカウントされた画素数が、フレームの総画素数に対して占める割合を計算する。
但し、画素の差分を計算する方法としては、各画素のRGBの値を比較する方法に必ずしも限定されず、各画素のHSV(Hue Saturation Value)の値を比較する方法、映像データ(画像)をグレースケール化して各画素の輝度値を比較する方法、また映像データ(画像)に対してエッジ処理を実行し、各画素のエッジ強度を比較する方法を用いてもよい。
具体的には、ユーザは、異常検知装置300にインストールされたソフトウェアの入力画面において、感度及び閾値を入力することで設定することができる。
また、ユーザは、監視を開始する前に、サンプルとする映像データから静止画像データを生成した上で、その生成した静止画像データをモニタ500、若しくは外部接続機器600のディスプレイ又はスクリーンに表示し、確認することで、感度及び閾値を調節することができる。
静止画像抽出部355は、フレーム比較データ記憶部354に記憶されているフレーム比較データより、画素値の変化の小さいフレーム区間(以下、静止画像区間)を特定し、その特定した静止画像区間内にある静止画像を、静止画像区間毎の集合(以下、静止画像群ともいう)単位で抽出し、静止画像データ記憶部356に記憶する。
なお、静止画像データ記憶部356に記憶される静止画像データについては、図6を用いて後述する。
なお、代表静止画像取得部357は、取得した代表静止画像を静止画像群に関連付けて、静止画像記憶部358に記憶する。
静止画像記憶部358は、代表静止画像取得部357により取得した代表静止画像を静止画像群単位で記憶する。
マスク画像生成部359は、具体的には、静止画像記憶部358に記憶される代表静止画像を重ね合わせ、重ね合わせた画像中で画素値の差分が所定値よりも大きい領域(検知対象領域)を特定し、その領域以外の領域を検知非対象領域として抽出することで、マスク画像を生成する。
マスク画像生成部359は、マスク画像を生成すると、生成したマスク画像を代表静止画像に掛け合わせる(即ち、マスク処理を実行する)。
なお、この処理は、画像から検知対象領域を限定すること(即ち、検知非対象領域を除外すること)で、検知の過程で生じる可能性のあるノイズを除去して検知の精度を向上させるために実行される。
具体的には、異常検知部360は、先ず、比較対象画像と監視対象画像に関して、フレーム比較部353と同様にRGB値を用いて、各静止画像内の画素毎に静止画像間における画素値の差分(即ち、RGB値の差分の絶対値)を計算する。次に、その計算結果が設定した所定の感度以上となる画素数をカウントし、そのカウントされた画素数が、静止画像の総画素数に対して占める割合を計算する。そして、所定の感度以上となる画素数の、フレーム総画素数に対して占める割合が、所定の閾値以上となった場合に、異常検知部360は異常を検知する。
また、異常検知部360は、所定の感度以上となる画素数の、フレーム総画素数に対して占める割合が、所定の値未満になる場合等に、異常検知の精度を向上させるために、比較対象画像を監視対象画像に置き換える処理を実行する。この処理については、図3のステップS117、S119、また図15Bを用いて、後述する。
なお、異常検知部360は、比較対象画像と監視対象画像に関して、差分を計算すると、その計算結果から差分画像を生成し、静止画像記憶部358に記憶する。
なお、アラート発報部361は、異常の程度(この場合、異常検知部360において計算される、所定の感度以上となる画素数の、フレーム総画素数に対して占める割合)に応じて、アラートの音量を調整することもできる。
また、表示制御部362は、入力装置400又は外部接続機器600からの入力情報に従って、静止画像データ記憶部356に記憶されている静止画像、静止画像記憶部358に記憶されている代表静止画像等を、同様にモニタ500、又は外部接続機器600の表示領域に表示させる。
LANポート380は、異常検知装置300と外部接続機器600とをLANケーブル等の有線通信手段により接続するためのインタフェースである。
無線インタフェース390は、異常検知装置300と外部接続機器600とをWi−Fi、Bluetooth(登録商標)等の無線通信手段により接続するためのインタフェースである。
この処理手順は、比較対象映像から比較対象画像を取得し、その比較対象画像を検知対象画像と検知非対象画像に分類するまでの段階(ここでは、教育の段階という(ステップS101からステップS109))と、監視対象映像から監視対象画像を取得し、その取得した監視対象画像と比較対象画像を比較し、異常の発生有無を判定する段階(ここでは、監視の段階という(ステップS110からステップS125))から構成される。
ここで、比較対象画像を検知対象画像と検知非対象画像に分類するのは、監視対象画像を比較対象画像と比較するにあたり、異常検知装置300における処理手順の実行上の効率化を図るためである。即ち、監視の段階では、先ず監視対象画像と検知非対象画像の比較を行い、一致する監視対象画像は検知対象画像でないとして除外し、検知非対象画像と一致しなかった監視対象画像についてのみ検知対象画像との比較を行う。これにより、検知対象画像と比較すべき監視対象画像を事前に制限することができる。
先ず、フレーム比較部353は、映像データ記憶部350に記憶された比較対象映像から、時間的に前後に位置するフレームを読み込む(S101)。以下、説明の順序に従って処理手順を実行する。
フレーム比較部353は、時間的に前後に位置するフレームに関して、各フレーム内の画素毎にフレーム間における画素値の差分を計算し、フレーム比較データを生成する(S102)。
なお、生成されたフレーム比較データは、フレーム比較データ記憶部354に記憶される。また、フレーム比較データに関しては、図4を用いて後述する。
なお、静止画像区間の特定については図5を用いて後述する。また、静止画像データ記憶部356に記憶される静止画像データについては図6、静止画像については図9を用いて後述する。
なお、図3には図示していないが、異常検知装置300は、比較対象映像からフレームの取得が可能な限り、ステップS101からS104までの処理を繰り返し実行する。また、ステップS101からステップS104までの処理については、図7のフロー図、また図8から図10を用いて詳述する。
なお、マスク画像の生成については、図11を用いて後述する。
なお、マスク処理の実行については、図12を用いて後述する。また、ステップS105のマスクの生成処理、及びステップS106のマスク処理は、異常を検知する精度を向上させるために実行させる処理であることから、任意であり省略することもできる。
即ち、表示制御部362は、ユーザにより検知対象画像(ユーザが実行しようとする検知のための画像)が選択されるまで(S108 No)、マスク処理が施された代表静止画像をモニタ500、又は外部接続機器600の表示領域に表示する。
そして、ユーザにより検知対象画像が選択されると(S108 Yes)、異常検知装置300は、マスク処理が施された代表静止画像を、検知非対象画像と検知対象画像に分類し、静止画像記憶部358に記憶する(S109)。
なお、ステップS107からステップS109までの処理は、省略することができる。その場合、異常検知装置300は、マスク処理が施された代表静止画像の全てを検知対象画像に分類して、以後の処理を実行する。また、ユーザによる検知対象画像の選択処理(即ち、ステップS108の処理)は、図13を用いて後述する。
監視の段階では、先ず、フレーム比較部353は、映像データ記憶部350に記憶された監視対象映像からフレームの読み込み可否を判定する(S110)。フレーム比較部353は、フレームの読み込みが可能であると判定すると(S110 Yes)、時間的に前後に位置するフレームを読み込む(S111)。
フレーム比較部353は、時間的に前後に位置するフレームに関して、各フレーム内の画素毎にフレーム間における画素値の差分を計算し、フレーム比較データを生成する(S112)。
なお、生成されたフレーム比較データは、ステップS102の処理と同様に、フレーム比較データ記憶部354に記憶される。
代表静止画像取得部357は、例えば、前述の代表静止画像の取得方法のいずれかに基づき、その特定した静止画像区間における代表静止画像を取得する(S114)。
なお、ステップS105及びステップS106の処理が省略されている場合、ステップS115の処理も同様に省略することができる。
具体的には、異常検知部360は、監視対象映像から取得され、マスク処理が施された監視対象画像と、教育の段階において検知非対象画像に分類され、マスク処理が施された比較対象画像に関して、各静止画像内の画素毎に両者間における画素値の差分を計算する。
次に、異常検知部360は、その計算結果が設定した所定の感度以上となる画素数をカウントし、そのカウントされた画素数が、静止画像の総画素数に対して占める割合を計算する。そして、所定の感度以上となる画素数の、フレーム総画素数に対して占める割合が、所定の閾値α以上になるか否かを判定する(S116)。
この場合、教育の段階において検知非対象画像として分類し、マスク処理を施した前記比較対象画像を、静止画像記憶部358から削除、又は静止画像記憶部358の別の記憶領域に記憶するようにしてもよい。
なお、教育の段階において検知非対象として分類される比較対象画像は、必ずしも1つではないことから、異常検知部360は、比較対象画像の各々に対してステップS116の処理を実行し、そのうちの1つの比較対象画像との関係で、閾値α未満となれば(S116 α未満)、ステップS117(置き換え処理)に移行させる。また、ステップS116及びステップS117における処理は、図14及び図15を用いて後述する。
これは、異常を検知する上での精度を向上させるために実行される処理であり、例えば、太陽光の影響等により、撮影装置100により撮影される被写対象の輝度が撮影時刻と共に変化することを想定したものである。
したがって、同一の被写対象を撮影することを前提に、撮影日時により輝度等、画像が変化しないことが保障されれば、ステップS117の置き換え処理は省略することができる。
具体的には、異常検知部360は、マスク処理が施された監視対象画像と、検知対象画像として分類され、マスク処理が施された比較対象画像に関して、各静止画像内の画素毎に静止画像間における画素値の差分を計算する。次に、その計算結果が設定した所定の感度以上となる画素数をカウントし、そのカウントされた画素数が、静止画像の総画素数に対して占める割合を計算する。そして、異常検知部360は、所定の感度以上となる画素数の、フレーム総画素数に対して占める割合が、閾値β未満となるか、閾値β以上閾値γ未満となるか、閾値γ以上となるかを判定する(S118)。
なお、ここでは、閾値β以上閾値γ未満を異常としアラート発報を行い、閾値γ以上は異常以外の要因があるとみなす。
なお、既に述べたとおり、検知対象として分類される比較対象画像は、必ずしも1つではないことから、異常検知部360は、比較対象画像の各々に対してステップS118の処理を実行する。そのうちの1つの比較対象画像との関係で、閾値β未満となれば(S118 β未満)、ステップS119(置き換え処理)に移行させる。また、ステップS119の処理は、ステップS117の処理と同様に、検知精度を向上させるために実行される処理であることから、省略することができる。
なお、異常が検知された場合、アラート発報部361は、有線、又は無線により接続される外部接続機器600からアラートを発報するように制御することもできる。
なお、検知対象としてされる比較対象画像は、既に述べたように必ずしも1つではないことから、異常検知部360は、比較対象画像の各々に対してステップS118の処理を実行し、そのうちの1つの比較対象画像との関係で、閾値β以上閾値γ未満となれば、ステップS120に移行させる(即ち、アラートを発報する)。
具体的には、表示制御部362は、監視の続行有無に関するメッセージを、モニタ500、又は外部接続機器600の表示領域に表示させる。
そして、ユーザにより監視の続行が選択された場合(S122 Yes)、異常検知装置300は、再度、ステップS110から処理を実行し、ユーザにより監視の中止が選択された場合(S122 No)、監視を終了する。
なお、ステップS116(α以上)、ステップS118(β以上 γ未満)、ステップS121、ステップS122の処理は、図17を用いて後述する。
なお、ステップS123において表示制御部362は、比較対象画像と監視対象画像を表示することと同時に、表示した監視対象画像を比較対象画像の検知非対象画像として追加(設定)するか否かをユーザに問い合わせる。
また、表示した監視対象画像を比較対象画像の検知非対象画像として追加しないようにユーザにより選択された場合(S124 No)も、同様に、再度、ステップS110から処理を実行する。
なお、ステップS116(α以上)、ステップS118(γ以上)、ステップS123、ステップS125の処理は、図19を用いて後述する。
なお、図4から図7は、図3のステップS101からステップS104、またステップS111からステップS114に関連する。
図4において、左欄はフレーム番号(映像データより所定の時間間隔で読み込むフレームの順番)、右欄はフレームの総画素数に対する所定の感度以上となった画素数の割合(%)を示している。例えば、フレーム番号11では、フレーム番号10との関係で、フレーム内の各画素に関してRGB値の差分の絶対値を計算し、その計算結果が設定した所定の感度以上となる画素数の、フレーム総画素数に対して占める割合が85%であることを示している。フレーム番号12では、フレーム番号11との関係で、所定の感度以上となる画素数のフレーム総画素数に対して占める割合が6%であることを示している。フレーム番号13以下も同様である。
図5は、図4に示す、フレーム比較データ記憶部354に記憶されるフレーム比較データをグラフ化したものである。図5において、横軸はフレーム番号、縦軸はフレームの総画素数に対する感度以上となった画素数の割合を示している。
なお、図5では、説明の便宜上、フレームを読み込む時間間隔を相応に長く設定している。
この場合、レーム番号12〜22までの区間において抽出される静止画像とフレーム番号29〜34までの区間において抽出される静止画像とでは、フレーム番号23〜28にかけてフレームの総画素数に対する所定の感度以上となった画素数の割合が大きく変化していることから、異なる場面(シーン)における静止画像となる可能性がある。
そこで、静止画像抽出部355は、場面毎に静止画像を抽出するために、静止画像区間を特定し、その特定した静止画像区間毎に(即ち、静止画像群単位で)静止画像を抽出し、静止画像データ記憶部356に記憶する。
フレーム比較部353は、映像データから所定の時間間隔でフレームを連続的に読み込み、時間的に前後に位置するフレームのフレーム間で画素値(RGB値)の差分の絶対値を計算し、その計算された絶対値が所定の感度以上となる後のフレームの画素数をカウントする。
次に、静止画像抽出部355は、後のフレームのカウントされた画素数のフレームの総画素数に対する割合が、閾値δ以上から閾値δ未満になった時点から閾値δ未満から閾値δ以上になった時点までの区間(即ち、閾値δ未満となる区間)を、静止画像区間として特定する。
なお、閾値δは、本発明の第1の閾値に対応する。
なお、静止画像区間は、所定の感度以上となった画素数のフレームの総画素数に対する割合が、閾値δ未満から閾値δ以上になって初めて特定される区間であること、また、静止画像抽出部355は、静止画像区間を特定する前に、フレームを連続的に読み込み、閾値ε未満となる第2の静止画像を抽出し、記憶する必要があることから、実際の処理では、静止画像抽出部355は、静止画像区間の開始時点を特定すると、所定の条件を充足するフレーム(第2の静止画像)を順次、抽出し、静止画像データ記憶部356に記憶する。
具体的には、静止画像群設定フラグは、時間的に連続する前後のフレームに関して、各フレームの画素値の差分の絶対値が設定した所定の値(感度)以上となる画素数のフレームの総画素数に対する割合が、閾値δ以上から閾値δ未満になると(例えば、図5において、フレーム番号11から12、フレーム番号28から29)「1」にセットされ、逆に閾値δ未満から閾値δ以上になると(図5において、フレーム番号22から23、フレーム番号34から35)「0」にセットされる。
また、異常検知装置300は、内部の処理として、静止画像区間を特定するために、静止画像群設定フラグを用いる。具体的には、異常検知装置300は、静止画像群設定フラグが「1」にセットされてから、「0」にセットされるまでのフレーム区間を静止画像区間として特定することができる。
このように閾値δとεを設定して、静止画像を、第1及び第2の静止画像として2段階に分けたのは、同一の場面において、静止画像として抽出されるフレームが時間的に連続することが予定される場合であっても、映像データにノイズが混入されることで画素値が変化する場合があり、その場合においても、画素数の割合が閾値δに達しない限り、ノイズが混入したフレームを同一の場面(即ち、同じ静止画像区間内)のフレームと判定できるようにするためである。
図6において、左欄は静止画像群、中欄はフレーム番号、右欄はフレームの総画素数に対する感度以上となった画素数の割合を示している。
なお、静止画像抽出部355により抽出したフレーム(静止画像)については、図9を用いて説明する。
フレーム比較部353は、映像データ記憶部350よりフレームの読み込みが可能であるか否かを判定する(S201)。即ち、フレーム比較部353は、静止画像(第2の静止画像)の抽出対象となる映像データが映像データ記憶部350に記憶されているか否かを判定する。
フレーム比較部353は、ステップS202において読み込んだ時間的に前後に位置するフレームに対して、各フレーム内の画素毎にフレーム間におけるRGB値の差分の絶対値を計算する(S203)。
次に、フレーム比較部353は、時間的に前後に位置するフレームの各画素のRGB値の差分の絶対値が所定の感度以上となる画素数をカウントし、フレームの総画素数に対して占める割合を算出する(S204)。
なお、図7のフロー図には図示していないが、フレーム比較部353における計算結果(図4)は、後のフレームの算出結果としてフレーム比較データ記憶部354に記憶される。
静止画像抽出部355は、ステップS201において読み込んだフレームに関して、所定の感度以上となる画素数の割合が閾値δ未満であると判定すると(S205 Yes)、次に、静止画像群の設定がされているか否かを判定する(S206)。具体的には、静止画像抽出部355は、静止画像群の設定の有無を示す静止画像群設定フラグが「1」にセットされているか否かを判定する。
なお、ステップS206において、静止画像抽出部355は、静止画像群の設定がされていないと判定すると(S206 No)、静止画像群を新規に設定した上で(S207)、ステップS201において読み込んだフレームが第2の静止画像であるか否かを判定する(S208)。
なお、ステップS208において、静止画像抽出部355は、ステップS201において読み込んだフレームが第2の静止画像でないと判定した場合も(S208 No)、同様にフレームをカウントアップさせ(S210)、再度、ステップS201から処理を実行する。
これらのステップS201からS210までの処理は、ステップS201において読み込んだ時間的に前後に位置するフレームに関して、後のフレームの画素数の割合が静止画像区間を特定する閾値δ以上(即ち、静止画像区間外)と判定されるまで(S205、No)、繰り返し実行される。これにより、1静止画像区間を構成する静止画像群が静止画像データ記憶部356に記憶される。
代表静止画像取得部357は、静止画像群が設定されていると判定すると(S211 Yes)、設定された静止画像群に静止画像データが記憶されているか否かを判定する(S212)。
取得方法1が選択されると(S213 取得方法1)、代表静止画像取得部357は、その静止画像群に関連付けられ記憶された静止画像に関して、各画素位置における画素の平均画素値を計算し、その平均画素値に基づき代表静止画像を生成し、静止画像記憶部358に記憶する(S214)。
取得方法2が選択されると(S213 取得方法2)、代表静止画像取得部357は、最初、又は最後等、所定の抽出位置で抽出され、静止画像群に関連付けられ記憶された静止画像を代表静止画像として取得し、静止画像記憶部358に記憶する(S215)。
取得方法3が選択されると(S213 取得方法3)、代表静止画像取得部357は、フレームの総画素数に対する感度以上となった画素数の割合が最も低いフレームを代表静止画像として取得し、静止画像記憶部358に記憶する(S216)。
なお、ステップS212において、設定された静止画像群に静止画像データが記憶されていないと判定された場合(S212 No)も、同様に、代表静止画像取得部357は、静止画像群設定フラグをリセットする(S217)。
なお、ステップS211において静止画像群が設定されていない(即ち、静止画像群設定フラグが「0」にセットされている)場合(S211 No)も、同様に、フレームをカウントアップさせ(S210)、再度、ステップS201から処理を実行する。
なお、工場等における作業は、円形孔状の収納部に円柱体を手動でセットする工程(工程A)と、手動でセットした円柱体を径の小さい円柱体に置換する工程(工程B)と、置換された円柱体を手動で収納部から取り出す工程(工程C)から成り、また、映像は、撮影装置100(又は、撮影装置100以外の撮影装置)により、円形孔状の3つが横一列に整列されるように、撮影される。
なお、図8において、フレーム番号1から8は前記工程Aに、フレーム番号9から23は前記工程Bに、またフレーム番号24から28は前記工程Cに該当する。
フレーム比較部353は、次に、フレーム番号3を読み込み、フレーム番号2及び3に関して、同様に、各フレーム内の画素毎にフレーム間における画素値の差分を計算し、計算結果をフレーム比較データ記憶部354に記憶する。
図9は、静止画像データ記憶部356に記憶された静止画像を示している。
図9に示すように、静止画像群G1にはフレーム番号2、静止画像群G2にはフレーム番号7、8、静止画像群G3にはフレーム番号11、静止画像群G4にはフレーム番号15、静止画像群G5にはフレーム番号19、静止画像群G6にはフレーム番号22、23、静止画像群G7にはフレーム番号28の静止画像が第2の静止画像として関連付けられ、静止画像データ記憶部356に記憶される。
なお、静止画像群には、図6に示したように、第2の静止画像以外に、フレーム番号、フレームの総画素数に対する感度以上となった画素数の割合も関連付けられる。
図10は、静止画像記憶部358に記憶された代表静止画像を示している。
図10では、静止画像群において最初に抽出された静止画像を代表静止画像として取得する取得方法(図7 ステップS215)に基づき、代表静止画像取得部357は、静止画像データ記憶部356より代表静止画像を取得している。
そのため、静止画像群G1からはフレーム番号2、静止画像群G2からはフレーム番号7、静止画像群G3からはフレーム番号11、静止画像群G4からはフレーム番号15、静止画像群G5からはフレーム番号19、静止画像群G6からはフレーム番号22、静止画像群G7からはフレーム番号28の静止画像が、代表静止画像として静止画像記憶部358に記憶される。
なお、以後の説明で、静止画像群G1の代表静止画像をM1、静止画像群G2の代表静止画像をM2、静止画像群G3の代表静止画像をM3、静止画像群G4の代表静止画像をM4、静止画像群G5の代表静止画像をM5、静止画像群G6の代表静止画像をM6、静止画像群G7の代表静止画像をM7ともいう。
即ち、異常検知装置300は、例えば、フレーム比較部353によりフレーム番号3から読み込み、静止画像抽出部355によりフレーム番号7で静止画像群設定フラグをセットする。そして、フレーム番号9で静止画像群設定フラグがリセットされると静止画像区間が特定されることから、次のフレーム番号10のフレームを読み込む前に、特定された静止画像区間から代表静止画像を選択し、静止画像記憶部358に記憶する。
図11は、マスク画像の生成を示す図であり、図3のステップS105の処理に該当する。
図11に示すように、マスク画像生成部359は、M1からM7までの代表静止画像を重ね合わせ、画素値の差分の大きい領域を特定する。図11では、径の大きい円柱体を円形孔状の収納部にセットし、次に径の小さい円柱体に置換し、さらに径の小さい円柱体を取り出すことから、径の大きい円柱体が画像に対して占める領域が画素値の差分の大きい領域として特定される。
図12は、マスク画像生成部359によるマスク処理を示す図であり、図3のステップS106の処理に該当する。
図12に示すように、マスク画像生成部359は、代表静止画像M1からM7の各々に、マスク画像Imaskを掛け合わせ、マスク処理を施す。
なお、以後の説明で、代表静止画像M1にマスク処理が施された画像をN1、代表静止画像M2にマスク処理が施された画像をN2、代表静止画像M3にマスク処理が施された画像をN3、代表静止画像M4にマスク処理が施された画像をN4、代表静止画像M5にマスク処理が施された画像をN5、代表静止画像M6にマスク処理が施された画像をN6、代表静止画像M7にマスク処理が施された画像をN7ともいう。
また、マスク処理が施された代表静止画像N1からN7は、静止画像記憶部358に記憶される。
なお、検知対象画像の選択は、ユーザが条件を予め設定することにより、自動的に実行させることもできる。
図13では、マスク処理が施された代表静止画像N2及びN6が検知対象画像としてユーザにより選択されていることから、マスク処理が施された代表静止画像N1、N3、N4、N5、及びN7が検知非対象画像として、またN2及びN6が検知対象画像として分類され、静止画像記憶部358に記憶される。
なお、図13は、図3のステップS107からステップS109の処理に関連する。
次に、図14から図19を用いて、監視の段階(図3のステップS110からステップS125)を説明する。
図14は、映像データ記憶部350に、撮影装置100から提供されるストリーミング映像を逐次、フレーム単位で記憶する様子を示している。
なお、図14では、前述の工程Aまでの作業が監視対象映像として映像データ記憶部350に記憶された直後の状態を示している。
フレーム比較部353は、次に、フレーム番号3のフレームを読み込むが、フレーム番号2とフレーム番号3のフレームとでは画素の差分が閾値δよりも大きいことから、静止画像及び静止画像区間はフレーム2として特定される。そこで、代表静止画像取得部357による代表静止画像の取得処理に移行する(図7 S205 No)。
図14において、静止画像群にはフレーム番号2の静止画像しか関連付けられていないため、フレーム番号2の静止画像が代表静止画像として取得される(図3 S114)。
なお、この処理は、図3のステップS115に該当する。
図15は、異常検知部360における、監視対象画像と、検知非対象画像として分類された比較対象画像との比較処理(図15A)と、その比較結果に基づき実行される付随処理(図15B)を示しており、各々、図3のステップS116、S117の処理に該当する。
図15Aでは、異常検知部360は、マスク処理が施された監視対象画像と、フレーム番号2の比較対象画像とを比較した結果として差分がないと判定する(即ち、差分が閾値α未満と判定する)。
この判定に基づき、異常検知装置300の処理は、図3のステップS117の処理に移行する(図15B)。ここで、異常検知部360は、図15Bに示すように、静止画像記憶部358において、検知非対象画像として分類されたフレーム番号2の比較対象画像を、監視対象画像に置き換える(図3 S117)。
続いて、フレーム比較部353によりフレーム番号5、6、7、8、9のフレームを読み込むと、静止画像抽出部355は、フレーム番号8と9のフレームを比較した結果から静止画区間を特定すると、フレーム番号7と8のフレームを静止画像として抽出する。さらに、代表静止画像取得部357は、図7のステップS215の取得方法に基づき、フレーム番号7のフレームを代表静止画像として取得する(図3 S114)。
この場合、フレーム番号7の代表静止画像(即ち、監視対象画像)は、検知非対象画像として分類された、いずれの比較対象画像との関係においても、画素値の差分が閾値α以上となる(図3、S116 α以上)。そこで、異常検知部360は、次に、図17Bに示すように、フレーム番号7の監視対象画像と、検知対象画像として分類された比較対象画像の各々(フレーム番号7、22)と比較する(図3 S118)。
異常検知装置300は、アラートを発報すると(S120)、図17Cに示すように、監視対象画像、検知対象画像として分類された比較対象画像、及びそれらの差分を示す画像を表示し(S121)、さらにユーザに対して監視の続行有無を問い合わせる(S122)。
そして、フレーム番号11、12、13・・・と読み込み、フレーム番号24と25のフレームを比較した結果から静止画像区間を特定すると、図18に示すように、フレーム番号22、23、24のフレームを静止画像として抽出し、さらに図7のステップS215の取得方法に基づき、フレーム番号23のフレームを代表静止画像として取得する(図3 S114)。
この場合、フレーム番号23の代表静止画像(即ち、監視対象画像)は、検知非対象画像として分類されたいずれの比較対象画像との関係においても、画素値の差分が閾値α以上となることから(図3、S116 α以上)、異常検知装置300は、次に、図19Bに示すように、フレーム番号7の監視対象画像と、検知対象画像として分類された比較対象画像の各々(フレーム番号7、22)と比較する(図3 S118)。
そして、ユーザにより追加が選択すると、異常検知装置300は、図19Dに示すように、フレーム番号22の監視対象画像を、比較対象画像の検知非対象画像として追加する(図3 S125)。
即ち、正常時の画像を、比較対象画像の検知非対象画像に追加することで(図3 S125)、以後の監視処理において同様のケースが生じた場合であっても、図3のステップS116からステップS117に移行させ、図3のステップS124に関係するユーザの作業を省略することができる。
図20は、モニタ500に表示されるソフトウェアのホーム画面において、ユーザにより「教育」が選択された画面を示す図である。
ホーム画面において「教育」が選択されると、表示が「教育中」に切り替わり、異常検知装置300は、図3のステップS101から処理を開始する。
図21は、モニタ500に表示される、検知対象画像の選択画面を示す図である。
マスク処理が終了すると、図21に示すように、検知対象画像の選択画面がポップアップ画面で、別のウィンドウとして表示される。
図21において、ユーザはフレーム番号7の比較対象画像を検知対象画像として選択している。なお、ここでは、図13と同様に、フレーム番号7及び22を検知対象画像として選択するものとする。
図22は、モニタ500に表示される検知対象画像と検知非対象画像の分類結果を表示した画面を示す図である。
図22に示すように、検知対象・検知非対象の分類結果がポップアップ画面で、別のウィンドウとして表示される。
なお、図22の表示処理については、付属的な処理であることから、図3の処理フローに図示していない。
図23は、モニタ500に表示されるソフトウェアのホーム画面において、ユーザにより「監視」が選択され、その後に異常が検知された画面を示す図である。
ホーム画面において「監視」が選択されると、表示が「監視中」に切り替わり、異常検知装置300は、図3のステップS110から処理を開始する。
図23に示す、ポップアップ画面では、アラート発報時における監視対象画像と比較対象画像の差分を示す画像を表示している。ポップ画面には、差分を示す画像以外に、監視対象画像、比較対象画像、異常が発生した時刻、監視対象画像を撮影している撮影装置の固有ID、さらに監視続行有無を選択するボタンも表示される。
図24は、ユーザに監視対象画像の追加有無を問い合わせる図である。
図24に示すように、監視対象画像を、検知非対象画像に追加するか否かをユーザに問い合わせる画面をポップアップ画面で、別のウィンドウとして表示する。
Claims (12)
- 監視対象の時間的に前後に位置する映像の一方の映像から抽出した静止画像を比較対象画像とし、他方の映像から抽出した静止画像を監視対象画像として、両者を比較することで監視対象の異常を検知する異常検知装置であって、
前記比較対象画像と前記監視対象画像との差分に基づき前記監視対象の異常を検知する異常検知部と、
前記比較対象画像と前記監視対象画像との差分を示す画像を表示装置に表示させる表示制御部と、
監視対象の映像から前記比較対象画像及び前記監視対象画像を抽出する静止画像抽出部とを、
有し、
前記静止画像抽出部は、前記監視対象の映像の時間的に前後に位置するフレーム間の差分が第1の閾値未満のフレームを静止画像として抽出する異常検知装置。 - 請求項1に記載された異常検知装置において、
前記静止画像抽出部は、複数の静止画像が連続するとき、当該連続した静止画像で構成される静止画像区間を特定し、
前記異常検知部は、前記それぞれ特定された当該静止画像区間に属する前記比較対象画像及び前記監視対象画像の差分に基づき異常検知を行う異常検知装置。 - 請求項1に記載された異常検知装置において、
前記監視対象の映像から複数の前記比較対象画像が抽出されたとき、前記異常検知に用いる比較対象画像を検知対象画像又は検知非対象画像のいずれかに選択する手段を備えた異常検知装置。 - 請求項3に記載された異常検知装置において、
前記異常検知部は、前記検知非対象画像と前記監視対象画像との差分が所定の閾値以上の場合にのみ、前記検知対象画像と前記監視対象画像に基づく異常検知を行う異常検知装置。 - 請求項1に記載された異常検知装置において、
前記比較対象画像から検知対象領域以外の領域をマスク処理するマスク画像を生成するマスク画像生成部を備え、
前記マスク画像生成部は、前記比較対象画像と前記監視対象画像とをマスク処理する異常検知装置。 - 請求項3に記載された異常検知装置において、
前記異常検知部は、前記検知非対象画像と前記監視対象画像との差分が所定の閾値未満の場合に、当該監視対象画像を前記検知非対象画像に置き換える処理を行う異常検知装置。 - 請求項2に記載された異常検知装置において、
代表静止画像取得部を有し、
前記代表静止画像取得部は、前記静止画像区間において、第1の閾値よりも低い第2の閾値未満の静止画像から異常を検知するための静止画像を取得する異常検知装置。 - 請求項1に記載された異常検知装置において、
前記異常検知部は、前記比較対象画像及び前記監視対象画像の差分の大きさに応じて前記監視対象画像の異常の有無、又は異常の有無及び比較対象画像に置き換える処理を行う異常検知装置。 - 監視対象の時間的に前後に位置する映像の一方の映像から抽出した静止画像を比較対象画像とし、他方の映像から抽出した静止画像を監視対象画像として、両者を比較することで監視対象の異常を検知する異常検知装置における異常検知方法であって、
前記比較対象画像と監視対象画像の差分に基づき前記監視対象の異常を検知する異常検知工程と、
前記比較対象画像と前記監視対象画像との差分を表す画像を表示装置で表示する表示制御工程と、
監視対象の映像から前記比較対象画像及び前記監視対象画像を抽出する静止画像抽出工程と、
を有し、
前記静止画像抽出工程では、前記監視対象の映像の時間的に前後に位置するフレーム間の差分が第1の閾値未満のフレームを静止画像として抽出する異常検知装置における異常検知方法。 - 請求項9に記載された異常検知装置における異常検知方法において、
前記静止画像抽出工程では、複数の静止画像が連続するとき、当該連続した静止画像で構成される静止画像区間を特定し、前記異常検知工程は、前記それぞれ特定された当該静止画像区間に属する前記比較対象画像と前記監視対象画像の差分に基づき異常検知を行う異常検知装置における異常検知方法。 - 監視対象の時間的に前後に位置する映像の一方の映像から抽出した静止画像を比較対象画像とし、他方の映像から抽出した静止画像を監視対象画像として、両者を比較することで監視対象の異常を検知する異常検知装置のコンピュータを、
前記比較対象画像と前記監視対象画像の差分に基づき前記監視対象の異常を検知する異常検知部と、
前記比較対象画像と前記監視対象画像との差分を表す画像を表示装置に表示させる表示制御部と、
監視対象の映像から前記比較対象画像及び前記監視対象画像を抽出する静止画像抽出部であって、前記監視対象の映像の時間的に前後に位置するフレーム間の差分が第1の閾値未満のフレームを静止画像として抽出する前記静止画像抽出部として機能させるプログラム。 - 請求項1に記載された異常検知装置と、監視対象を撮影する撮影装置と、表示装置とを有する異常検知システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014157696A JP6451133B2 (ja) | 2014-08-01 | 2014-08-01 | 異常検知装置、異常検知方法、異常検知システム、及びプログラム |
US14/815,786 US9875409B2 (en) | 2014-08-01 | 2015-07-31 | Abnormality detection apparatus, abnormality detection method, and recording medium storing abnormality detection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014157696A JP6451133B2 (ja) | 2014-08-01 | 2014-08-01 | 異常検知装置、異常検知方法、異常検知システム、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016035629A JP2016035629A (ja) | 2016-03-17 |
JP6451133B2 true JP6451133B2 (ja) | 2019-01-16 |
Family
ID=55180376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014157696A Active JP6451133B2 (ja) | 2014-08-01 | 2014-08-01 | 異常検知装置、異常検知方法、異常検知システム、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9875409B2 (ja) |
JP (1) | JP6451133B2 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10110858B2 (en) * | 2015-02-06 | 2018-10-23 | Conduent Business Services, Llc | Computer-vision based process recognition of activity workflow of human performer |
CN108475431B (zh) | 2015-12-18 | 2022-02-18 | 株式会社理光 | 图像处理装置、图像处理***、图像处理方法和记录介质 |
WO2017164288A1 (ja) | 2016-03-24 | 2017-09-28 | 日本電気株式会社 | 画像表示システム、端末、方法およびプログラム |
JP6457156B2 (ja) * | 2016-05-31 | 2019-01-23 | 株式会社オプティム | 録画画像共有システム、方法及びプログラム |
US10666909B2 (en) * | 2016-06-29 | 2020-05-26 | Intel Corporation | Methods and apparatus to perform remote monitoring |
US10249044B2 (en) * | 2016-12-30 | 2019-04-02 | Facebook, Inc. | Image segmentation with touch interaction |
WO2018193104A1 (en) | 2017-04-20 | 2018-10-25 | Adc Therapeutics Sa | Combination therapy with an anti-cd25 antibody-drug conjugate |
DE102017207438B4 (de) * | 2017-05-03 | 2020-07-09 | Volkswagen Aktiengesellschaft | Verfahren, Vorrichtung und deren Verwendung zur Ermittlung des Knickwinkels eines Gespanns |
EP3409629B2 (en) | 2017-06-01 | 2024-02-28 | Otis Elevator Company | Image analytics for elevator maintenance |
JP6882097B2 (ja) * | 2017-06-29 | 2021-06-02 | Tasmit株式会社 | 走査電子顕微鏡の操作パラメータを検証する方法 |
JP7156291B2 (ja) * | 2017-09-21 | 2022-10-19 | コニカミノルタ株式会社 | ガス検査レポート作成支援装置、ガス検査レポート作成支援方法、及び、ガス検査レポート作成支援プログラム |
CN107832774A (zh) * | 2017-10-09 | 2018-03-23 | 无线生活(杭州)信息科技有限公司 | 一种页面异常检测方法及装置 |
WO2019087870A1 (ja) * | 2017-10-30 | 2019-05-09 | Necフィールディング株式会社 | 作業支援装置、作業支援方法及びプログラム |
CN107832701A (zh) * | 2017-11-06 | 2018-03-23 | 佛山市章扬科技有限公司 | 一种监控视频的人物识别方法和装置 |
CN108449525B (zh) * | 2018-03-26 | 2019-06-28 | 京东方科技集团股份有限公司 | 自动光学检查中标准图像的获取方法及自动光学检查设备 |
CN110472646B (zh) * | 2018-05-09 | 2023-02-28 | 富士通株式会社 | 数据处理设备、数据处理方法及介质 |
US11223802B2 (en) | 2019-07-31 | 2022-01-11 | Ricoh Company, Ltd. | Image-based determination apparatus and image-based determination system |
US20220206888A1 (en) * | 2019-08-28 | 2022-06-30 | Mitsubishi Electric Corporation | Abnormal portion detecting device, method of detecting abnormal portion, and recording medium |
JP7359607B2 (ja) * | 2019-09-12 | 2023-10-11 | 株式会社日立ソリューションズ | 振動試験解析装置および振動試験解析方法 |
CN113362270B (zh) * | 2020-03-05 | 2024-06-04 | 西安诺瓦星云科技股份有限公司 | 显示屏画面显示异常监测方法及其装置 |
CN111665649A (zh) * | 2020-05-26 | 2020-09-15 | Tcl华星光电技术有限公司 | 用于测试屏幕异常的检测方法 |
CN112532938B (zh) * | 2020-11-26 | 2021-08-31 | 武汉宏数信息技术有限责任公司 | 一种基于大数据技术的视频监控*** |
TWI765706B (zh) * | 2021-05-11 | 2022-05-21 | 凌華科技股份有限公司 | 彈出視窗的非侵入式共享處理方法及系統 |
CN113553950A (zh) * | 2021-07-23 | 2021-10-26 | 上海商汤智能科技有限公司 | 一种异常事件检测方法、装置、电子设备及存储介质 |
WO2023034889A1 (en) | 2021-09-02 | 2023-03-09 | Exxonmobil Chemical Patents Inc. | C1 symmetric metallocene catalysts tailored for production of vinyl-terminated polypropylene oligomers and macromonomers |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3454396B2 (ja) * | 1995-10-11 | 2003-10-06 | 株式会社日立製作所 | 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム |
US5831669A (en) * | 1996-07-09 | 1998-11-03 | Ericsson Inc | Facility monitoring system with image memory and correlation |
JPH11284985A (ja) * | 1998-03-31 | 1999-10-15 | Ntt Power And Building Facilities Inc | 設備監視方法及び装置 |
US6947073B1 (en) * | 2000-04-14 | 2005-09-20 | The United States Of America As Represented By The Secretary Of The Navy | Apparatus and method for detecting a moving target |
US6441734B1 (en) * | 2000-12-12 | 2002-08-27 | Koninklijke Philips Electronics N.V. | Intruder detection through trajectory analysis in monitoring and surveillance systems |
JP3504245B2 (ja) * | 2001-10-31 | 2004-03-08 | 株式会社東芝 | 画像監視装置 |
GB0218982D0 (en) * | 2002-08-15 | 2002-09-25 | Roke Manor Research | Video motion anomaly detector |
US20070122000A1 (en) * | 2005-11-29 | 2007-05-31 | Objectvideo, Inc. | Detection of stationary objects in video |
JP2008064715A (ja) * | 2006-09-11 | 2008-03-21 | Omron Corp | 欠陥検査装置および欠陥検査方法 |
US8146811B2 (en) * | 2007-03-12 | 2012-04-03 | Stoplift, Inc. | Cart inspection for suspicious items |
JP5284599B2 (ja) * | 2007-03-30 | 2013-09-11 | 株式会社日立国際電気 | 画像処理装置 |
WO2010066072A1 (zh) * | 2008-12-08 | 2010-06-17 | 阿尔卡特朗讯公司 | 图像动作检测方法及装置 |
DE102009038364A1 (de) * | 2009-08-23 | 2011-02-24 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Verfahren und System zur automatischen Objekterkennung und anschließenden Objektverfolgung nach Maßgabe der Objektform |
US8285034B2 (en) * | 2009-08-26 | 2012-10-09 | Bally Gaming, Inc. | Apparatus, method and article for evaluating a stack of objects in an image |
JP2012023566A (ja) | 2010-07-14 | 2012-02-02 | Toshiba Teli Corp | 監視装置および挙動監視用プログラム |
JP2012027810A (ja) * | 2010-07-27 | 2012-02-09 | National Printing Bureau | 機能性検査装置 |
JP2013243527A (ja) | 2012-05-21 | 2013-12-05 | Ricoh Co Ltd | 撮像装置、撮像システム及び撮像方法、並びに、撮像方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体 |
US9497425B2 (en) * | 2013-10-08 | 2016-11-15 | Sercomm Corporation | Motion detection method and device using the same |
US9685056B2 (en) * | 2014-03-21 | 2017-06-20 | Qognify Ltd. | Robust change-detection system and method |
US9754178B2 (en) * | 2014-08-27 | 2017-09-05 | International Business Machines Corporation | Long-term static object detection |
-
2014
- 2014-08-01 JP JP2014157696A patent/JP6451133B2/ja active Active
-
2015
- 2015-07-31 US US14/815,786 patent/US9875409B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160034784A1 (en) | 2016-02-04 |
US9875409B2 (en) | 2018-01-23 |
JP2016035629A (ja) | 2016-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6451133B2 (ja) | 異常検知装置、異常検知方法、異常検知システム、及びプログラム | |
US10917621B2 (en) | Information processing apparatus, image generating apparatus, control methods therefor, and non-transitory computer-readable storage medium | |
US10699473B2 (en) | System and method for generating a virtual viewpoint apparatus | |
US10070047B2 (en) | Image processing apparatus, image processing method, and image processing system | |
JP6270433B2 (ja) | 情報処理装置、情報処理方法、情報処理システム | |
JP6459256B2 (ja) | 画像記憶再生制御装置、画像記憶再生制御方法、画像記憶再生制御システム、及びプログラム | |
KR20110053820A (ko) | 이미지 처리 방법 및 장치 | |
JP2016134803A (ja) | 画像処理装置及び画像処理方法 | |
US10540546B2 (en) | Image processing apparatus, control method, and storage medium | |
JP2019160001A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20160372157A1 (en) | Display control apparatus, display control method, and storage medium | |
JP6124568B2 (ja) | データセットを可視化する方法及び装置 | |
WO2013114803A1 (ja) | 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム | |
US11170520B2 (en) | Image processing apparatus for analyzing an image to detect an object within the image | |
US20180255249A1 (en) | Image processing apparatus and control method for controlling the same | |
CN110581950A (zh) | 相机、选择相机设置的***和方法 | |
JP2018084861A (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
JP4853657B2 (ja) | 画像処理装置 | |
CN111145234A (zh) | 基于双目视觉的火灾烟雾探测方法 | |
CN115834859A (zh) | 一种四目立体视觉摄像机5g软件标定方法及*** | |
CN111050027A (zh) | 镜头畸变补偿方法、装置、设备和存储介质 | |
CN112492261A (zh) | 跟踪拍摄方法及装置、监控*** | |
US20180152649A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
CN114359776A (zh) | 一种融合光与热成像的火焰检测方法、装置 | |
CN109829389B (zh) | 机器移位判断方法、装置以及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181126 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6451133 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |