JP6299299B2 - 事象検出装置および事象検出方法 - Google Patents

事象検出装置および事象検出方法 Download PDF

Info

Publication number
JP6299299B2
JP6299299B2 JP2014051652A JP2014051652A JP6299299B2 JP 6299299 B2 JP6299299 B2 JP 6299299B2 JP 2014051652 A JP2014051652 A JP 2014051652A JP 2014051652 A JP2014051652 A JP 2014051652A JP 6299299 B2 JP6299299 B2 JP 6299299B2
Authority
JP
Japan
Prior art keywords
data
feature amount
acquired
classifier
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014051652A
Other languages
English (en)
Other versions
JP2015176283A (ja
Inventor
翔 阮
翔 阮
湖川 盧
湖川 盧
瑩 張
瑩 張
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2014051652A priority Critical patent/JP6299299B2/ja
Priority to KR1020150012577A priority patent/KR101708547B1/ko
Priority to EP15153028.4A priority patent/EP2919153A1/en
Priority to CN201510050532.0A priority patent/CN104915632A/zh
Priority to US14/611,721 priority patent/US20150262068A1/en
Publication of JP2015176283A publication Critical patent/JP2015176283A/ja
Application granted granted Critical
Publication of JP6299299B2 publication Critical patent/JP6299299B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G06N5/047—Pattern matching networks; Rete networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)

Description

本発明は、入力されたデータに基づいて、異常事象の発生有無を判定する事象検出装置に関する。
近年、セキュリティへの関心の高まりにより、監視カメラの普及が進んでいる。監視カメラは、何らかの異常事態を監視する目的で設置されるが、全ての映像をリアルタイムで人が監視することは現実的ではない。そこで、映像に映っている内容に基づいて、何らかの異常な事象が含まれるシーン（異常シーン）と、そうでないシーン（正常シーン）を自動的に識別する方法について、研究が進められている。異常な事象とは、通常の状態では起こらない事象であり、例えば、交通事故の発生や、プラットホームからの転落、不審者の侵入、被介護者の転倒や卒倒などである。
映像に含まれる事象を検出する場合、当該事象を予め学習させておき、映像から取得した情報とマッチングさせて評価するという手法が一般的に用いられる。
例えば、特許文献１に記載の不審行動検知システムでは、監視対象者の移動軌跡を正常パターンと異常パターンとで分けて学習させ、取得した移動軌跡と学習情報を対比させることで対象者の行動を識別している。
特開２０１２−１２８８７７号公報
特許文献１に記載のシステムは、人間の移動軌跡に基づいて、正常パターンを逸脱した行動を検出することができる。しかし、当該システムは、特定の空間内で移動する人の移動軌跡に基づいて異常判定を行っているため、人物の移動軌跡に基づかない判定は行うことができない。例えば、高齢者の徘徊を検出することはできるが、防犯カメラの映像から、こじ開けられた金庫が存在することを検出することはできない。
この問題は、人間の移動軌跡以外の特徴量を取得し、特徴量同士を比較することで解決できるようにも思える。しかし、学習結果に基づいて正常シーンと異常シーンを識別しようとした場合、それぞれ十分な数の学習データを用意しなければならない。十分な数の学習データを用意できない場合、正常シーンと異常シーンを識別する際の精度が低くなってしまうためである。
しかし、現実には、異常シーンに含まれる事象は、事故など、発生させてはいけない事象であることが多く、実際に事象を発生させて学習させることが困難である場合が多い。
また、一口に正常シーンや異常シーンと言っても、実際は特徴の異なる様々なシーンがある。このため、それぞれ特徴の異なる複数のシーンを一つの「正常（異常）シーン」とみなしてしまうと、認識精度が悪くなるという問題がある。例えば、プラットホームからの人の転落を検知したい場合、列車の進入中、進出中、乗客がホームに滞留している状態、ホームに乗客がいない状態など、数多くの正常シーンが存在するため、これらを個別に定義することが困難である場合が多い。
本発明は上記の課題を考慮してなされたものであり、入力されたデータに基づいて異常
事象の発生有無を判定する事象検出装置であって、予め正常や異常のパターンを定義して学習を行わせる必要のない事象検出装置を提供することを目的とする。
上記課題を解決するため、本発明の第一の様態に係る事象検出装置は、
第一のデータを取得する第一のデータ取得手段と、複数の識別器と、前記第一のデータに対応する特徴量を取得し、取得した特徴量の分類先となる複数のクラスタを生成し、前記特徴量を前記複数のクラスタのうちのいずれかに分類する特徴量分類手段と、各クラスタに分類された特徴量をそれぞれ用いて、前記複数の識別器を学習させる学習手段と、第二のデータを取得する第二のデータ取得手段と、前記第二のデータに対応する特徴量を、前記学習させた複数の識別器に入力し、各識別器から識別結果を取得する識別手段と、前記取得した識別結果に基づいて、前記第二のデータに認識対象の事象が含まれるか否かを判定する判定手段と、を有し、前記第一のデータおよび第二のデータは、画像であり、前記特徴量は、３Ｄ−ＬＢＰであることを特徴とする。
第一のデータとは、学習用のデータであり、画像である。第一のデータは、経験上、正常事象を多く含んでいると推定できるデータであればよい。すなわち、第一のデータは、必ずしも正常事象のみが含まれているデータである必要はなく、多少の異常事象が混在していてもよい。もちろん、異常事象が含まれていないデータがあれば、それを用いることが好ましい。
また、特徴量分類手段は、入力された第一のデータから特徴量を抽出し、取得した特徴量を、複数のクラスタに分類する手段である。特徴量は、データ全体に対応するものであってもよいし、データの一部のみに対応するものであってもよい。
学習手段は、各クラスタに分類された特徴量を用いて、クラスタごとにそれぞれ対応する識別器を学習させる手段である。識別器とは、入力された情報を機械学習の結果に基づいてクラス分けする手段であり、例えば、サポートベクタマシン（ＳＶＭ）などを利用することができる。
また、第二のデータは、異常事象の判定を行う対象となる入力データであり、画像である。識別手段は、第二のデータから取得した特徴量を、学習済みの各識別器に入力し、各識別器から識別結果を取得する。これにより、入力されたデータが、各クラスタに対してどの程度近いかという情報を得ることができる。そして、判定手段が、当該識別結果に基づいて、第二のデータに認識対象の事象が含まれるかを判定する。入力データから取得した特徴量が各クラスタから遠い場合、学習に用いたデータ内で発生していた事象とは異なる事象が発生していることが推定できるため、異常事象が起きていると判断することができる。
また、前記識別器は、単クラス識別器であり、前記判定手段は、各識別器から取得した認識誤差の和をスコアとして求め、前記スコアに基づいて、前記第二のデータに認識対象の事象が含まれるか否かを判定することを特徴としてもよい。
単クラス識別器とは、単一のクラスに対する適合度を求める識別器である。具体的には、特徴量を入力すると、対応するクラスタに対する誤差（認識誤差）を値で出力する。
異常事象が起きているか否かの判定には、このように、各識別器から取得した認識誤差の和を用いることが好ましい。認識誤差の和が大きいということは、学習に用いたデータ内で発生していた事象とは大きくかけ離れた事象が起きていることが推定できるためである。
また、前記判定手段は、各識別器から取得した認識誤差に対して重み付けを行ったうえ
でスコアリングを行うことを特徴としてもよい。
各クラスタを構成する特徴量に偏りがある場合、正しく異常事象の判定が行えないおそれがある。そこで、認識誤差に対する重みをクラスタごとに付したうえでスコアリングを行うことで、判定精度を向上させることができる。
また、前記判定手段は、識別器に対応するクラスタに属するサンプルの数が多いほど、当該識別器が出力する認識誤差に対してより大きい重みを与えることを特徴としてもよく、前記判定手段は、識別器に対応するクラスタに属するサンプルの分散が小さいほど、当該識別器が出力する認識誤差に対してより大きい重みを与えることを特徴としてもよい。
クラスタに対する重みは、当該クラスタに属するサンプルの数や分散に基づいて行うとよい。例えば、クラスタに属するサンプルの数が少ない場合、対応する識別器が十分に学習されていないことが考えられるため、サンプル数が多い場合と比較して、当該識別器に対する重みを小さくすることが好ましい。また、クラスタに属するサンプルの分散が小さい場合、当該クラスタは特定の事象をよく表したクラスタであることが考えられるため、分散が大きい場合と比較して、対応する識別器に対する重みを大きくすることが好ましい。
本発明に係る事象検出装置は、画像に認識対象の事象が含まれるかを判定する装置に好適に適用することができる。
なお、入力データとして画像を用いる場合、特徴量は、画素に対応する特徴量の集合であってもよいし、局所領域に対応する特徴量の集合であってもよい。また、画像全体に対応する特徴量であってもよいし、画像の一部のみに対応する特徴量であってもよい。
ＬＢＰ（Local Binary Pattern）とは、注目画素と、注目画素の近傍にある画素との関係をバイナリパターンで表したものであり、３Ｄ−ＬＢＰとは、ＬＢＰを時間方向に拡張したものである。動画像に含まれる事象を検出する場合、３Ｄ−ＬＢＰを特徴量として好適に用いることができる。
また、本発明の第二の様態に係る事象検出装置は、
データを取得するデータ取得手段と、複数の識別器と、前記取得したデータに対応する特徴量を、前記複数の識別器に入力し、各識別器から識別結果を取得する識別手段と、前記取得した識別結果に基づいて、前記取得したデータに認識対象の事象が含まれるか否かを判定する判定手段と、を有し、前記複数の識別器は、学習用のデータから取得した特徴量であって、複数のクラスタに分類された特徴量をそれぞれ用いて、当該クラスタごとに学習された識別器であり、前記データは画像であり、前記特徴量は３Ｄ−ＬＢＰであることを特徴としてもよい。
このように、本発明の第二の様態に係る事象検出装置は、第一の様態に係る事象検出装置から、識別器を学習させるための構成を省いたものとして特定することもできる。
なお、本発明は、上記手段の少なくとも一部を含む事象検出装置として特定することができる。また、本発明は、上記事象検出装置が実行する事象検出方法として特定することもできる。また、本発明は、上記事象検出装置に上記事象検出方法を実行させるプログラムとして特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
本発明によれば、入力されたデータに基づいて異常事象の発生有無を判定する事象検出装置であって、予め正常や異常のパターンを定義して学習を行わせる必要のない事象検出装置を提供することができる。
実施形態に係る画像処理装置のシステム構成図である。 ＬＢＰによる特徴量の算出方法を説明する図である。 ３Ｄ−ＬＢＰによる特徴量の算出方法を説明する図である。 識別器を学習させる処理を説明する図である。 異常事象の発生有無を判定する処理を説明する図である。 識別器を学習させる処理のフローチャートである。 異常事象の発生有無を判定する処理のフローチャートである。
（システム構成）
以下、本発明の好ましい実施形態について図面を参照しながら説明する。
第一の実施形態に係る画像処理装置は、カメラ等の手段を介して動画を取得し、当該取得した動画に基づいて、異常事象が発生しているか否かを判定する装置である。図１は、本実施形態に係る画像処理装置１０のシステム構成図である。
画像処理装置１０は、画像取得部１１、特徴量取得部１２、識別部１３、異常事象判定部１４、出力部１５から構成される。
画像取得部１１は、装置の外部から画像を取得する手段であり、典型的には、デジタルカメラやデジタルビデオカメラとそのインタフェースからなる。以降、画像とは、動画を構成する各フレームに対応する画像であるものとする。なお、画像取得部１１は、必ずしもカメラを介して画像を取得する必要はなく、例えば、装置の外部から有線または無線ネットワークを介して画像を取得してもよい。また、ディスクドライブやフラッシュメモリ等の記憶装置に記憶された画像を取得するようにしてもよい。
特徴量取得部１２は、画像取得部１１が取得した画像に対応する特徴量を取得する手段である。具体的には、取得した画像を構成する全画素に対応する特徴量の集合を取得する。なお、特徴量取得部１２が取得する特徴量は、一部の画素のみに対応する特徴量の集合であってもよいし、局所領域に対応する特徴量の集合であってもよい。また、特徴量取得部１２が取得する特徴量は、一枚の画像に対応するものであってもよいし、後述するように、動画（複数フレームの連続した画像）に対応するものであってもよい。
識別部１３は、複数の単クラス識別器を包含しており、入力された画像と、各識別器が識別対象とするクラスとの誤差（以下、識別誤差）を出力する手段である。識別部１３が有する識別器は、単一のクラスとの誤差を出力する単クラス識別器であることが好ましい。例えば、Ｏｎｅ−Ｃｌａｓｓ ＳＶＭ（http://rvlasveld.github.io/blog/2013/07/12/introduction-to-one-class-support-vector-machines/）や、ＳＶＤＤ（Support Vector Data Description）などを好適に用いることができる。各識別器を学習する方法、および、識別誤差の利用方法については後述する。
異常事象判定部１４は、識別部１３が出力した識別誤差（すなわち、各識別器によって出力された複数の識別誤差）に基づいて、入力画像に異常事象が含まれているか否かを判定する手段である。異常事象とは、通常の状態では発生しない事象であり、典型的には、
人の卒倒や転落、交通事故の発生、警備状態にある空間への侵入などがあるが、他の事象であってもよい。例えば、製造ラインにおける不良品の発生などを異常事象としてもよい。
また、出力部１５は、ユーザに対して情報を提示する手段である。典型的には、液晶ディスプレイとその制御手段から構成される。なお、出力部１５は、ユーザに対して情報を伝達することができれば、ディスプレイ以外の手段であってもよい。例えば、音声を出力する装置であってもよいし、電子メールやインスタントメッセージ等を送信するための通信装置であってもよい。
画像取得部１１、特徴量取得部１２、識別部１３、異常事象判定部１４の機能は、制御プログラムをＣＰＵなどの処理装置が実行することによって実現される。また、当該機能は、ＡＳＩＣ（Application Specific Integrated Circuit）などによって実現されても
よいし、これらの組合せによって実現されてもよい。
（特徴量の取得）
本実施形態に係る画像処理装置１０が行う処理は、入力された画像を用いて識別器を学習させるフェーズと、学習済みの識別器を用いて、入力画像の異常判定を行うフェーズの二つのフェーズに分けられる。いずれのフェーズにおいても、入力画像に対応する特徴量を取得し、当該特徴量を用いて処理を行う。まず、入力画像から特徴量を取得する方法について説明する。なお、特徴量の取得方法にはいくつかの方法があるが、ここでは、３Ｄ−ＬＢＰを例に挙げて説明する。
まず、３Ｄ−ＬＢＰの基本となるＬＢＰについて説明する。
ＬＢＰ（Local Binary Pattern）とは、注目画素と、注目画素の近傍にある画素との関係をバイナリパターンで表したものである。図２は、ＬＢＰによる特徴量の算出方法を説明する図である。符号２０１は、入力画像の一部を切り出した、３画素×３画素のサイズを持つ領域であり、中央の黒色で表した画素が処理対象の画素（注目画素）である。
ここでは、注目画素の近傍にある８つの画素の輝度値が、注目画素に対して明るいか暗いかを表すパターンを生成する。具体的には、輝度値が５未満であれば０を、５以上であれば１を与える。この結果、符号２０２のようなパターンが生成される。このようにして生成したバイナリ値を左上から順に並べ、８ビットの値（ＬＢＰ値）を生成する。
そして、画素ごとに算出したＬＢＰ値をビットごとに全画素分積算し、ヒストグラムを生成する。この結果、符号２０３に示したようなヒストグラムを得ることができる。このヒストグラム２０３（すなわち８次元のベクトル）が、画像全体に対応する特徴量となる。
以上に説明した特徴量は、一枚の静止画像に対応する特徴量である。３Ｄ−ＬＢＰは、ＬＢＰを時間方向に拡張したものであり、動画のフレーム間の動きを加えた特徴量である。図３を参照しながら説明する。図３では、画像の横方向をＸ軸、縦方向をＹ軸、時間軸方向をＴ軸として表している。
図３（Ａ）に示した平面３０１は、ある時刻における動画のフレームに対応する画像を表したものである。すなわち、平面３０１に対応するヒストグラム３１１は、前述したＬＢＰによるヒストグラム２０３と等価である。
一方、平面３０２は、Ｙ軸方向の座標が同一である画素を、時間軸方向に並べた平面である。平面３０１と比べると、軸が異なるのみで、ＬＢＰ値の取得方法およびヒストグラムの生成方法は、前述した方法と同一である。すなわち、平面３０２に対応するヒストグラム３１２は、ヒストグラム３１１と同様に、８次元のベクトルとなる。
また、平面３０３は、Ｘ軸方向の座標が同一である画素を、時間軸方向に並べた平面で
ある。平面３０１と比べると、軸が異なるのみで、ＬＢＰ値の取得方法およびヒストグラムの生成方法は、前述した方法と同一である。平面３０３に対応するヒストグラム３１３は、ヒストグラム３１１と同様に、８次元のベクトルとなる。
このように、３Ｄ−ＬＢＰでは、時間軸を用いて三つの平面を定義し、三つのヒストグラムを生成したうえで、当該ヒストグラムを連結することで一つの特徴量とする。各ヒストグラムは、８次元のベクトルであるため、３Ｄ−ＬＢＰによって生成された特徴量は、２４次元のベクトルとなる。この２４次元のベクトルが、平面３０１〜３０３の三枚の平面に対応する特徴量となる。
なお、本例では三枚の平面に対応する特徴量を一つ算出したが、平面の位置をずらしながら複数個の特徴量を取得するようにしてもよい。この場合、２４次元のベクトルの組が、あるフレームにおける特徴量となる。
また、本例では３Ｄ−ＬＢＰによる特徴量の算出方法を説明したが、特徴量を算出する方法には、どのようなものを用いてもよい。例えば、フレーム間での物体の動きをベクトルで表した指標値（オプティカルフロー）を用いてもよいし、フレームごとに特徴量を算出し、複数フレーム分の特徴量の集合を用いてもよい。静止画に対応する特徴量は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speed Up Robust Features）、ＨＯＧ（Histogram of Oriented Gradient）といった、既知のものを用いるこ
とができる。
（識別器の学習）
次に、識別部１３が有する識別器を学習させる方法について説明する。
前述したように、本実施形態では、識別器として単クラス識別器を用いる。単クラス識別器は、あるクラスに対する一致度を判定できる識別器である。
図４は、識別器の学習について説明する図である。本実施形態では、識別部１３が、以下に説明する各ステップを実行することによって識別器の学習を行う。
（１）学習用の画像を取得し、特徴量を求める
まず、学習用の画像として、異常事象が発生していないか、異常事象が発生しているが、その割合が少ないと推定される状態の画像を取得し、当該画像に対応する特徴量を取得する。なお、本実施形態では、３Ｄ−ＬＢＰによって特徴量を求める。従って、学習用の画像は、動画から取得されたフレーム画像である。また、本実施形態では、複数の動画から画像を取得し、特徴量を取得する。本ステップにより、２４次元のベクトルで表された特徴量が、各動画に対して複数個取得される。
（２）取得した特徴量を分類する
次に、取得した複数の特徴量に対応する複数のクラスタを生成し、特徴量を各クラスタに分類する。クラスタリングの手法には、例えば、Ｋ平均法（K-means）や、スペクトラ
ルクラスタリングなど、任意の手法を用いることができる。なお、クラスタリング手法を用いず、取得した特徴量の中から、Ｎ組のサンプルをランダムに選択し、Ｎ個のクラスタに分類するようにしてもよい。
また、クラスタリングは必ずしも自動で行う必要はなく、クラスタの数や種類を予め設定するようにしてもよい。例えば、正常な事象が複数パターンあることがわかっている場合、当該複数のパターンに対応するクラスタを定義し、いずれかのパターンに分類されるようにしてもよい。
図４の例では、学習用画像から抽出された複数の特徴量が、４つの特徴量クラスタ（以下、単に「クラスタ」）に分類される。
（３）分類された特徴量を用いて、識別器を学習させる
次に、各クラスタに分類された特徴量を用いて、それぞれのクラスタに対応する識別器を学習させる。本例は、得られた特徴量に対応するクラスタが４つである場合の例であるため、４つの識別器を用いる。
このようにして学習された識別器は、入力データと各クラスタとの誤差を識別できるようになる。例えば、特徴量クラスタ１に事象Ａが対応付いている場合、識別器１は、入力されたデータと、事象Ａとの類似度を数値で出力することができるようになる。クラスタリングを自動で行った場合、クラスタと特定の事象とは関連付いていない可能性があるが、少なくとも、学習に用いた画像内で発生していた事象との類似度を判定することはできる。
（異常事象の判定）
次に、学習済みの識別器を用いて、取得した画像に異常事象が含まれるか否かを判定する方法について説明する。
図５は、異常事象の判定について説明する図である。本実施形態に係る画像処理装置は、以下に説明する各ステップを実行することによって異常事象の判定を行う。
（１）入力画像（識別対象の画像）を取得し、特徴量を求める
識別対象の画像とは、異常事象が発生しているか否かが不明な画像である。ここでは、学習時に用いた方法と同じ方法を用いて、画像に対応する特徴量を取得する。
（２）取得した特徴量を各識別器に入力し、識別誤差を取得する
次に、取得した特徴量を複数の識別器にそれぞれ入力する。これにより、入力画像と、各識別器に対応するクラスタとの識別誤差を得ることができる。ここでは、識別器ｉが出力した識別誤差をＥiとする。
（３）複数の識別誤差に基づいて、異常事象の発生を推定する
識別器が出力した識別誤差が大きい場合、学習時に発生していた事象と異なる事象が発生している可能性が大きいといえる。したがって、各識別器が出力した識別誤差に基づいて、異常事象の発生を推定することができる。
具体的には、識別誤差Ｅiの総和が閾値Ｔよりも大きい場合、すなわち、ΣＥi≧Ｔである場合に、異常事象が発生していると判定する。識別器が出力した識別誤差の和が大きいということは、取得した特徴量がいずれのクラスタからも遠い位置にあることを表している。すなわち、学習時に発生していた事象と異なる事象が発生している可能性が大きいことが推定できる。
なお、本例では、各識別器が出力する識別誤差をそのまま加算したが、各識別誤差に重みを付けるようにしてもよい。例えば、識別器ｉが出力する識別誤差をＥi、これに対応
する重みをＷiとし、重みを乗じた識別誤差の総和が閾値Ｔよりも大きい場合、すなわち
、ΣＥiＷi≧Ｔである場合に、異常事象が発生していると判定するようにしてもよい。
ここで、識別誤差に重みを付ける方法について説明する。
重みの大小は、対応するクラスタがどの程度の信頼度を有しているかによって決定することが好ましい。例えば、当該クラスタに属するサンプルの数が少ないほど重みを小さくし、サンプルの数が大きいほど重みを大きくするようにしてもよい。サンプル数が少ないクラスタは、異常事象の判定に用いることが適していないと考えられるためである。
また、クラスタに属するサンプルの分散が大きいほど重みを小さくし、分散が小さいほど重みを大きくするようにしてもよい。分散が大きい場合、クラスタが特定の事象と深く対応づいておらず、信頼度が低いと考えられるためである。
（処理フローチャート）
次に、以上に説明した機能を実現するための処理フローチャートについて説明する。
図６は、本実施形態に係る画像処理装置１０が行う処理のうち、識別器の学習を行う処理のフローチャートである。当該処理は、ユーザの操作（例えば、学習の開始を指示する操作）によって開始される。
まず、ステップＳ１１で、画像取得部１１が、学習用の画像を取得する。本実施形態では、不図示のカメラを用いて画像を撮像するが、通信手段を介して画像を取得してもよいし、記憶手段に記憶されている画像を取得してもよい。なお、３Ｄ−ＬＢＰによって特徴量を取得する場合、前後数フレーム分の画像が必要となるため、予め必要な数のフレーム分の画像を取得するようにしてもよい。
次に、ステップＳ１２で、特徴量取得部１２が、取得した画像に対応する特徴量を取得する。本実施形態では、３Ｄ−ＬＢＰを用いて特徴量を取得するが、特徴量を取得する方法は前述したように特に限定されない。また、特徴量の取得は、画像を構成する全画素に対して行ってもよいし、画像の特徴をよく表している領域や画素がある場合、当該領域や画素に対してのみ行ってもよい。
ステップＳ１３では、特徴量取得部１２が、ステップＳ１２で取得した特徴量をクラスタリングする。クラスタリングの手法は前述したように特に限定されない。
以上に説明した処理によって、画像に対応する特徴量が複数のクラスタに分類された状態となる。
ステップＳ１４では、識別部１３が、各クラスタに分類された特徴量を用いて、各クラスタにそれぞれ対応する識別器の学習を行う。
なお、図６に示した処理は、学習のために必要な十分な量のデータを得るため、繰り返し実行されるようにしてもよい。また、当該処理は、ユーザの操作以外によって開始されるようにしてもよい。例えば、前回の実行から所定の時間が経過するごとに自動的に開始されるようにしてもよい。また、ユーザの操作等によって、追加で一つないし複数のデータを読み込んで、更なる学習を行わせるようにしてもよい。
図７は、本実施形態に係る画像処理装置１０が行う処理のうち、異常事象の判定を行う処理のフローチャートである。当該処理は、画像処理装置１０が起動中であって、識別器の学習が完了している場合に繰り返し実行される。
ステップＳ２１およびステップＳ２２の処理は、取得する画像が、評価対象の画像であるという点を除いて、ステップＳ１１およびステップＳ１２の処理と同等であるため、詳細な説明は省略する。
ステップＳ２３では、識別部１３が、特徴量取得部１２によって取得された特徴量を、各識別器に入力する。
次に、ステップＳ２４で、識別部１３が、各識別器から出力された識別誤差を取得し、全ての識別誤差を合計することでスコアを算出する。
そして、ステップＳ２５で、異常事象判定部１４が、算出したスコアが閾値以上であるか否かを判定し、閾値以上であった場合、異常事象が発生したと判定し、ステップＳ２６に遷移する。閾値未満であった場合は、ステップＳ２１に戻り、所定の時間だけ待機した後に処理を繰り返す。
ステップＳ２６は、異常事象判定部１４が、出力部１５を通して、異常事象を検知した旨をユーザに通知するステップである。出力部１５がディスプレイである場合、画面表示によって通知を行ってもよいし、音声出力やデータ通信が可能な手段を有している場合、音声や電子データ（インスタントメッセージや電子メール等）によって通知を行ってもよ
い。
以上説明したように、本実施形態に係る画像処理装置は、画像に対応する特徴量を取得したうえでクラスタリングを行い、各クラスタに対応する識別器を学習によって生成したうえで、識別誤差に基づいて異常事象の発生有無を判定する。すなわち、予め正常／異常が定義されたシーンを学習させるのではなく、大半が通常起きうる事象であることが推定される複数のシーンを学習させたうえで、当該シーンからの乖離を判定することで、異常事象が発生したことを推定する。このようにすることで、異常事象に対応する学習データを多数用意しなければならないという、従来の手法における課題を解決することができる。また、正常事象が複数種類あり、かつ事前に定義しづらいような場合であっても、認識精度を確保することができる。
（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、実施形態の説明では、識別器として単クラス識別器を用いたが、識別器は、必ずしも単クラス識別器である必要はない。例えば、二項分類を行うバイナリ識別器であってもよい。
また、特徴量取得部１２が取得する特徴量は、必ずしも画像全体に対応する特徴量である必要はなく、画像に含まれる複数の局所領域に対応する特徴量の集合であってもよい。例えば、画像を１６画素×１６画素の大きさを持つ正方領域に分割し、それぞれの領域に対応する特徴量の集合を求めるようにしてもよい。また、類似した特徴をもつ画素の集まりであるスーパーピクセル単位で特徴量を求めるようにしてもよい。
また、実施形態の説明では、単一の手法（３Ｄ−ＬＰＢ）によって特徴量を求めたが、複数の手法によって複数組の特徴量を求め、それら複数の特徴量を結合したものを全体の特徴量として用いるようにしてもよい。
また、異常事象の判定に用いる閾値Ｔには、固定値を用いてもよいが、実際に異常事象を発生させてキャリブレーションを行うようにしてもよい。すなわち、装置の出力を参照しながら、当該異常事象を正しく検出できるような値に調整してもよい。
また、実施形態の説明では、分類先のクラスタが、どのようなシーンに対応するかの定義は行っていないが、いくつかのシーンにおいて既知のクラスタがある場合、当該既知のクラスタを用いて分類を行うようにしてもよい。
また、実施形態の説明では、動画を対象として異常事象の判定を行ったが、対象は静止画であってもよいし、音声であってもよい。特徴量を算出することができるデータであれば、対象はどのようなものであってもよい。
また、実施形態の説明では、学習用のデータと評価用のデータを別々に入力したが、学習用データを用いて学習を行った後、当該学習用データを再度入力して異常事象の判定を行ってもよい。
１０ 画像処理装置
１１ 画像取得部
１２ 特徴量取得部
１３ 識別部
１４ 異常事象判定部
１５ 出力部

Claims (9)

  1. 第一のデータを取得する第一のデータ取得手段と、
    複数の識別器と、
    前記第一のデータに対応する特徴量を取得し、取得した特徴量の分類先となる複数のクラスタを生成し、前記特徴量を前記複数のクラスタのうちのいずれかに分類する特徴量分類手段と、
    各クラスタに分類された特徴量をそれぞれ用いて、前記複数の識別器を学習させる学習手段と、
    第二のデータを取得する第二のデータ取得手段と、
    前記第二のデータに対応する特徴量を、前記学習させた複数の識別器に入力し、各識別器から識別結果を取得する識別手段と、
    前記取得した識別結果に基づいて、前記第二のデータに認識対象の事象が含まれるか否かを判定する判定手段と、
    を有し、
    前記第一のデータおよび第二のデータは、画像であり、
    前記特徴量は、３Ｄ−ＬＢＰである
    ことを特徴とする、事象検出装置。
  2. 前記識別器は、単クラス識別器であり、
    前記判定手段は、各識別器から取得した認識誤差の和をスコアとして求め、前記スコアに基づいて、前記第二のデータに認識対象の事象が含まれるか否かを判定する
    ことを特徴とする、請求項１に記載の事象検出装置。
  3. 前記判定手段は、各識別器から取得した認識誤差に対して重み付けを行ったうえでスコアリングを行う
    ことを特徴とする、請求項２に記載の事象検出装置。
  4. 前記判定手段は、識別器に対応するクラスタに属するサンプルの数が多いほど、当該識別器が出力する認識誤差に対してより大きい重みを与える
    ことを特徴とする、請求項３に記載の事象検出装置。
  5. 前記判定手段は、識別器に対応するクラスタに属するサンプルの分散が小さいほど、当該識別器が出力する認識誤差に対してより大きい重みを与える
    ことを特徴とする、請求項３に記載の事象検出装置。
  6. 取得したデータに、認識対象の事象が含まれるか否かを判定する事象検出装置が行う事象検出方法であって、
    第一のデータを取得する第一のデータ取得ステップと、
    前記第一のデータに対応する特徴量を取得し、取得した特徴量の分類先となる複数のクラスタを生成し、前記特徴量を前記複数のクラスタのうちのいずれかに分類する特徴量分類ステップと、
    前記分類された特徴量を用いて、各クラスタにそれぞれ対応する複数の識別器を学習させる学習ステップと、
    第二のデータを取得する第二のデータ取得ステップと、
    前記第二のデータに対応する特徴量を、前記学習させた複数の識別器にそれぞれ入力し、各識別器から識別結果を取得する識別ステップと、
    前記取得した識別結果に基づいて、前記第二のデータに認識対象の事象が含まれるか否かを判定する判定ステップと、
    を含み、
    前記第一のデータおよび第二のデータは、画像であり、
    前記特徴量は、３Ｄ−ＬＢＰである
    ことを特徴とする、事象検出方法。
  7. 取得したデータに、認識対象の事象が含まれるか否かを判定する事象検出装置に、
    第一のデータを取得する第一のデータ取得ステップと、
    前記第一のデータに対応する特徴量を取得し、取得した特徴量の分類先となる複数のクラスタを生成し、前記特徴量を前記複数のクラスタのうちのいずれかに分類する特徴量分類ステップと、
    前記分類された特徴量を用いて、各クラスタにそれぞれ対応する複数の識別器を学習させる学習ステップと、
    第二のデータを取得する第二のデータ取得ステップと、
    前記第二のデータに対応する特徴量を、前記学習させた複数の識別器にそれぞれ入力し、各識別器から識別結果を取得する識別ステップと、
    前記取得した識別結果に基づいて、前記第二のデータに認識対象の事象が含まれるか否かを判定する判定ステップと、
    を実行させ、
    前記第一のデータおよび第二のデータは、画像であり、
    前記特徴量は、３Ｄ−ＬＢＰである
    ことを特徴とする、事象検出プログラム。
  8. 請求項７に記載の事象検出プログラムが記録された記憶媒体。
  9. 取得したデータに、認識対象の事象が含まれるか否かを判定する事象検出装置であって、
    データを取得するデータ取得手段と、
    複数の識別器と、
    前記取得したデータに対応する特徴量を、前記複数の識別器に入力し、各識別器から識別結果を取得する識別手段と、
    前記取得した識別結果に基づいて、前記取得したデータに認識対象の事象が含まれるか否かを判定する判定手段と、
    を有し、
    前記複数の識別器は、学習用のデータから取得した特徴量であって、複数のクラスタに分類された特徴量をそれぞれ用いて、当該クラスタごとに学習された識別器であり、
    前記データは、画像であり、
    前記特徴量は、３Ｄ−ＬＢＰである
    ことを特徴とする、事象検出装置。
JP2014051652A 2014-03-14 2014-03-14 事象検出装置および事象検出方法 Active JP6299299B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014051652A JP6299299B2 (ja) 2014-03-14 2014-03-14 事象検出装置および事象検出方法
KR1020150012577A KR101708547B1 (ko) 2014-03-14 2015-01-27 사상(事象) 검출 장치 및 사상 검출 방법
EP15153028.4A EP2919153A1 (en) 2014-03-14 2015-01-29 Event detection apparatus and event detection method
CN201510050532.0A CN104915632A (zh) 2014-03-14 2015-01-30 事件检测装置以及事件检测方法
US14/611,721 US20150262068A1 (en) 2014-03-14 2015-02-02 Event detection apparatus and event detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014051652A JP6299299B2 (ja) 2014-03-14 2014-03-14 事象検出装置および事象検出方法

Publications (2)

Publication Number Publication Date
JP2015176283A JP2015176283A (ja) 2015-10-05
JP6299299B2 true JP6299299B2 (ja) 2018-03-28

Family

ID=52544268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014051652A Active JP6299299B2 (ja) 2014-03-14 2014-03-14 事象検出装置および事象検出方法

Country Status (5)

Country Link
US (1) US20150262068A1 (ja)
EP (1) EP2919153A1 (ja)
JP (1) JP6299299B2 (ja)
KR (1) KR101708547B1 (ja)
CN (1) CN104915632A (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101436369B1 (ko) * 2013-06-25 2014-09-11 중앙대학교 산학협력단 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법
EP3151552A4 (en) * 2014-05-30 2018-02-21 Hitachi Kokusai Electric Inc. Monitoring system and camera device
CN106241534B (zh) * 2016-06-28 2018-12-07 西安特种设备检验检测院 多人乘梯异常活动智能监控方法
CN106241533B (zh) * 2016-06-28 2018-10-30 西安特种设备检验检测院 基于机器视觉的电梯乘员综合安全智能监控方法
JP2018032071A (ja) 2016-08-22 2018-03-01 株式会社クレスコ 検証装置、検証方法及び検証プログラム
JP2018055607A (ja) * 2016-09-30 2018-04-05 富士通株式会社 イベント検知プログラム、イベント検知装置、及びイベント検知方法
JP6905850B2 (ja) * 2017-03-31 2021-07-21 綜合警備保障株式会社 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
JP6968645B2 (ja) * 2017-10-02 2021-11-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
DE102018203179A1 (de) * 2018-03-02 2019-09-05 Robert Bosch Gmbh Vorrichtung, insbesondere Handwerkzeugmaschinen-Verwaltungsvorrichtung, und Verfahren zur Überwachung und/oder zur Verwaltung einer Vielzahl von Gegenständen
JP6844564B2 (ja) * 2018-03-14 2021-03-17 オムロン株式会社 検査システム、識別システム、及び学習データ生成装置
CN110472646B (zh) * 2018-05-09 2023-02-28 富士通株式会社 数据处理设备、数据处理方法及介质
CN112912901A (zh) * 2018-10-18 2021-06-04 富士通株式会社 学习程序、学习方法以及学习装置
CN109885588B (zh) * 2019-01-23 2021-05-07 齐鲁工业大学 一种复杂事件检测方法及***
KR20220074854A (ko) * 2019-08-28 2022-06-03 주식회사 소니 인터랙티브 엔터테인먼트 센서 시스템, 화상 처리 장치, 화상 처리 방법 및 프로그램
JP7352637B2 (ja) 2019-08-28 2023-09-28 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、センサシステム、画像処理装置、画像処理方法およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250771A (ja) * 2004-03-03 2005-09-15 Fuji Photo Film Co Ltd 対象物識別装置および方法並びにプログラム
JP4767595B2 (ja) * 2005-06-15 2011-09-07 パナソニック株式会社 対象物検出装置及びその学習装置
KR100745980B1 (ko) * 2006-01-11 2007-08-06 삼성전자주식회사 분류기 통합을 위한 스코어 합성 방법 및 장치
JP2008250908A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 映像判別方法および映像判別装置
JP5048625B2 (ja) * 2008-10-09 2012-10-17 株式会社日立製作所 異常検知方法及びシステム
US8649594B1 (en) * 2009-06-04 2014-02-11 Agilence, Inc. Active and adaptive intelligent video surveillance system
JP2011223287A (ja) * 2010-04-09 2011-11-04 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
KR101170676B1 (ko) * 2010-11-11 2012-08-07 고려대학교 산학협력단 얼굴 인식 기반의 얼굴 검색 시스템 및 그 방법
KR101287948B1 (ko) * 2011-12-13 2013-07-19 (주) 미디어인터랙티브 동작 인식 방법, 장치 및 이 방법을 수행하는 컴퓨터 판독 가능한 기록 매체
JP2012128877A (ja) 2012-03-19 2012-07-05 Toshiba Corp 不審行動検知システム及び方法
JP6131723B2 (ja) * 2012-11-26 2017-05-24 株式会社リコー 情報処理装置、情報処理方法、プログラムおよび記録媒体
CN103605362B (zh) * 2013-09-11 2016-03-02 天津工业大学 基于车辆轨迹多特征的运动模式学习及异常检测方法
KR102106135B1 (ko) * 2013-10-01 2020-05-04 한국전자통신연구원 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
KR101543105B1 (ko) * 2013-12-09 2015-08-07 현대자동차주식회사 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량

Also Published As

Publication number Publication date
US20150262068A1 (en) 2015-09-17
EP2919153A1 (en) 2015-09-16
CN104915632A (zh) 2015-09-16
JP2015176283A (ja) 2015-10-05
KR101708547B1 (ko) 2017-02-20
KR20150107599A (ko) 2015-09-23

Similar Documents

Publication Publication Date Title
JP6299299B2 (ja) 事象検出装置および事象検出方法
JP7317919B2 (ja) 外観検索のシステムおよび方法
AU2017233723B2 (en) System and method for training object classifier by machine learning
US9824296B2 (en) Event detection apparatus and event detection method
CN110969130B (zh) 一种基于yolov3司机危险动作识别方法及***
US9008365B2 (en) Systems and methods for pedestrian detection in images
JP6330385B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10984252B2 (en) Apparatus and method for analyzing people flows in image
CN108171158B (zh) 活体检测方法、装置、电子设备及存储介质
JP2016072964A (ja) 被写体再識別のためのシステム及び方法
CN107133629B (zh) 图片分类方法、装置和移动终端
WO2020195732A1 (ja) 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体
US20210406568A1 (en) Utilizing multiple stacked machine learning models to detect deepfake content
WO2015102711A2 (en) A method and system of enforcing privacy policies for mobile sensory devices
US20230386185A1 (en) Statistical model-based false detection removal algorithm from images
CN106156808A (zh) 对象分类器的在线学习方法和设备以及检测方法和设备
Ramzan et al. Automatic Unusual Activities Recognition Using Deep Learning in Academia.
Piérard et al. A probabilistic pixel-based approach to detect humans in video streams
KR102332183B1 (ko) 보안 비디오에 대한 어노말리 검출장치 및 방법
US11443541B2 (en) Classification of person type in a visual medium
KR20130067758A (ko) Ｓｖｍ학습을 이용한 사람 검출 장치 및 그 방법
JP5283267B2 (ja) コンテンツ識別方法及び装置
JP2015158745A (ja) 行動識別器生成装置、行動認識装置及びプログラム
Chen et al. Social distance monitoring of site workers for COVID-19 using context-guided data augmentation, deep learning, and homography transformation
US20240233328A1 (en) Non-transitory computer-readable recording medium, determination method, and information processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180212

R150 Certificate of patent or registration of utility model

Ref document number: 6299299

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150