CN104915632A - 事件检测装置以及事件检测方法 - Google Patents

事件检测装置以及事件检测方法 Download PDF

Info

Publication number
CN104915632A
CN104915632A CN201510050532.0A CN201510050532A CN104915632A CN 104915632 A CN104915632 A CN 104915632A CN 201510050532 A CN201510050532 A CN 201510050532A CN 104915632 A CN104915632 A CN 104915632A
Authority
CN
China
Prior art keywords
data
recognizer
characteristic quantity
event
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510050532.0A
Other languages
English (en)
Inventor
阮翔
卢湖川
张莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN104915632A publication Critical patent/CN104915632A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G06N5/047—Pattern matching networks; Rete networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

本发明涉及事件检测装置以及事件检测方法。具有：第一数据取得部件，取得第一数据；多个识别器；特征量分类部件，取得对应于所述第一数据的特征量，生成成为所取得的特征量的分类目的地的多个簇，将所述特征量分类到所述多个簇之中的其中一个；学习部件，分别使用被分类到各簇的特征量来使所述多个识别器进行学习；第二数据取得部件，取得第二数据；识别部件，将对应于所述第二数据的特征量输入至进行了所述学习的多个识别器，从各识别器取得识别结果；以及判定部件，基于所述取得的识别结果，判定在所述第二数据中是否包含辨识对象的事件。

Description

事件检测装置以及事件检测方法
技术领域
本发明涉及基于所输入的数据来判定有无发生异常事件的事件检测装置。
背景技术
近年，由于对安全性的高度关心，监控摄像机正在普及。监控摄像机以监视某些异常状况为目的而设置，但由人来实时监视全部视频并不现实。因此，正在研究基于视频所拍到的内容而自动地识别包含某些异常的事件的场景(异常场景)和并非如此的场景(正常场景)的方法。异常的事件是在通常的状态下不会产生的事件，例如，交通事故的发生、从平台的掉落、可疑者的侵入、被照顾者的跌倒或晕倒等。
在检测视频中包含的事件的情况下，一般使用预先学习该事件并与从视频取得的信息匹配而进行评价的方法。
例如，在专利文献1中记载的可疑行动探测***中，将监视对象者的移动轨迹分为正常模式(pattern)和异常模式而进行学习，通过将所取得的移动轨迹和学习信息进行对比，从而识别对象者的行动。
现有技术文献
专利文献
专利文献1：(日本)特开2012－128877号公报
专利文献1中记载的***能够基于人的移动轨迹来检测脱离了正常模式的行动。但是，由于该***基于在特定的空间内移动的人的移动轨迹来进行异常判定，所以不能进行不基于人物的移动轨迹的判定。例如，虽然能够检测高龄者的徘徊，但不能从防范摄像机的视频检测存在被撬开的保险柜的情况。
认为该问题通过取得人的移动轨迹以外的特征量，对特征量之间进行比较也能够解决。但是，在想要基于学习结果而识别正常场景和异常场景的情况下，必须分别准备充分的数量的学习数据。这是因为在不能准备充分的数量的学习数据的情况下，识别正常场景和异常场景时的精度变低。
但是，在现实中，异常场景中包含的事件大多是事故等不能使其发生的事件，难以在实际中使事件发生而进行学习的情况较多。
此外，即使一句话地分为正常场景和异常场景，但实际上存在特征不同的各种场景。因此，存在若将各个特征不同的多个场景视为一个“正常(异常)场景”，则辨识精度变差的问题。例如，在想要探测人从平台的掉落的情况下，由于存在列车正在进站、正在出站、乘客滞留在站台中的状态、在站台中没有乘客的状态等大量的正常场景，难以对它们单独地进行定义的情况较多。
发明内容
本发明是考虑上述的课题而完成的，其目的在于，提供基于所输入的数据来判定有无发生异常事件且不需要预先定义正常和异常的模式而进行学习的事件检测装置。
为了解决上述课题，本发明的第一方式所涉及的事件检测装置的特征在于，具有：第一数据取得部件，取得第一数据；多个识别器；特征量分类部件，取得对应于所述第一数据的特征量，生成成为所取得的特征量的分类目的地的多个簇(clust)，将所述特征量分类到所述多个簇之中的其中一个；学习部件，分别使用被分类到各簇的特征量来使所述多个识别器进行学习；第二数据取得部件，取得第二数据；识别部件，将对应于所述第二数据的特征量输入至进行了所述学习的多个识别器，从各识别器取得识别结果；以及判定部件，基于所述取得的识别结果，判定在所述第二数据中是否包含辨识对象的事件。
第一数据是学习用的数据，典型地说是图像，但不限于此。第一数据是在经验上能够估计为包含较多正常事件的数据即可。即，第一数据不一定是仅包含正常事件的数据，也可以混合存在些许异常事件。当然，若是不包含异常事件的数据，则优选使用它们。
此外，特征量分类部件是从所输入的第一数据提取特征量，将所取得的特征量分类到多个簇的部件。特征量也可以对应于数据整体，也可以仅对应于数据的一部分。
学习部件是使用被分类到各簇的特征量来使分别对应于每个簇的识别器进行学习的部件。识别器是将所输入的信息基于机械学习的结果而进行分类的部件，例如，能够利用支持向量机(SVM)等。
此外，第二数据是成为进行异常事件的判定的对象的输入数据，典型地说是图像，但不限于此。识别部件将从第二数据取得的特征量输入至学习完毕的各识别器，从各识别器取得识别结果。由此，能够得到所输入的数据相对于各簇接近到什么程度的信息。并且，判定部件基于该识别结果，判定在第二数据中是否包含辨识对象的事件。由于在从输入数据取得的特征量离各簇远的情况下，能够估计发生了与在用于学习的数据内发生的事件不同的事件，所以能够判断为产生了异常事件。
此外，也可以是，其特征在于，所述识别器是单类识别器，所述判定部件求得从各识别器取得的辨识误差之和作为得分，基于所述得分来判定在所述第二数据中是否包含辨识对象的事件。
单类识别器是求得对于单一的类(class)的适合度的识别器。具体而言，若输入特征量，则将相对于对应的簇的误差(辨识误差)以值的方式输出。
在是否产生了异常事件的判定中，优选像这样使用从各识别器取得的辨识误差之和。这是因为辨识误差之和大的情况能够估计产生了与在用于学习的数据内发生的事件相差很大的事件。
此外，也可以是，其特征在于，所述判定部件在对从各识别器取得的辨识误差进行了加权之后进行评分。
在构成各簇的特征量中存在偏差的情况下，存在不能准确地进行异常事件的判定的顾虑。因此，通过在按每个簇赋予对于辨识误差的权重之后进行评分，从而能够提高判定精度。
此外，也可以是，其特征在于，属于与识别器对应的簇的样本的数目越多，则所述判定部件对该识别器输出的辨识误差给予越大的权重，也可以是，属于与识别器对应的簇的样本的方差越小，则所述判定部件对该识别器输出的辨识误差给予越大的权重。
对于簇的权重也可以基于属于该簇的样本的数目或方差而进行。例如，在属于簇的样本的数目少的情况下，认为对应的识别器没有充分地学习，因此与样本数多的情况相比，优选使得对于该识别器的权重较小。此外，在属于簇的样本的方差小的情况下，认为该簇是较好地表现特定的事件的簇，因此与方差大的情况相比，优选使得对于对应的识别器的权重较大。
此外，也可以是，其特征在于，所述第一数据以及第二数据是图像。
本发明所涉及的事件检测装置能够较好地应用于判定在图像中是否包含辨识对象的事件的装置。
另外，在使用图像作为输入数据的情况下，特征量也可以是对应于像素的特征量的集合，也可以是对应于局部区域的特征量的集合。此外，也可以是对应于图像整体的特征量，也可以是仅对应于图像的一部分的特征量。
此外，也可以是，其特征在于，所述特征量是3D－LBP。
LBP(局部二进制模式，Local Binary Pattern)是将关注像素和处于关注像素的附近的像素之间的关系以二进制模式表示的模式，3D－LBP将LBP在时间方向上扩展。在检测运动图像中包含的事件的情况下，能够较好地使用3D－LBP作为特征量。
此外，本发明的第二方式所涉及的事件检测装置的特征在于，具有：数据取得部件，取得数据；多个识别器；识别部件，将与所述取得的数据对应的特征量输入至所述多个识别器，从各识别器取得识别结果；以及判定部件，基于所述取得的识别结果，判定在所述取得的数据中是否包含辨识对象的事件，所述多个识别器是分别使用从学习用的数据取得且被分类到多个簇的特征量，按每个该簇进行学习的识别器。
像这样，本发明的第二方式所涉及的事件检测装置还能够特定为从第一方式所涉及的事件检测装置省略了用于使识别器进行学习的结构。
另外，本发明能够特定为包含上述部件的至少一部分的事件检测装置。此外，本发明还能够特定为上述事件检测装置执行的事件检测方法。此外，本发明还能够特定为使上述事件检测装置执行上述事件检测方法的程序。只要没有发生技术上的矛盾，则能够将上述处理或部件自由组合而实施。
根据本发明，能够提供基于所输入的数据来判定有无发生异常事件且不需要预先定义正常和异常的模式而进行学习的事件检测装置。
附图说明
图1是实施方式所涉及的图像处理装置的***结构图。
图2是说明基于LBP的特征量的计算方法的图。
图3(A)～(B)是说明基于3D－LBP的特征量的计算方法的图。
图4是说明使识别器进行学习的处理的图。
图5是说明判定有无发生异常事件的处理的图。
图6是使识别器进行学习的处理的流程图。
图7是判定有无发生异常事件的处理的流程图。
标号说明
10 图像处理装置
11 图像取得部
12 特征量取得部
13 识别部
14 异常事件判定部
15 输出部
具体实施方式
(***结构)
以下，参照附图说明本发明的优选的实施方式。
第一实施方式所涉及的图像处理装置是经由摄像机等部件取得动态图像，基于该取得的动态图像来判定是否发生了异常事件的装置。图1是本实施方式所涉及的图像处理装置10的***结构图。
图像处理装置10由图像取得部11、特征量取得部12、识别部13、异常事件判定部14、输出部15构成。
图像取得部11是从装置的外部取得图像的部件，典型地说由数码相机或数码摄像机及其接口构成。以后，设为图像是与构成动态图像的各帧对应的图像。另外，图像取得部11不一定经由摄像机取得图像，例如也可以从装置的外部经由有线或者无线网络取得图像。此外，也可以取得盘驱动器或闪速存储器等存储装置中存储的图像。
特征量取得部12是取得与图像取得部11取得的图像对应的特征量的部件。具体而言，取得与构成所取得的图像的全部像素对应的特征量的集合。另外，特征量取得部12取得的特征量也可以是仅对应于一部分像素的特征量的集合，也可以是对应于局部区域的特征量的集合。此外，特征量取得部12取得的特征量也可以对应于一张图像，也可以如后述那样对应于动态图像(多个帧连续的图像)。
识别部13包含多个单类识别器，是输出所输入的图像和各识别器设为识别对象的类之间的误差(以下，识别误差)的部件。识别部13具有的识别器优选是输出与单一的类的误差的单类识别器。例如，能够较好地使用单类支持向量机(One－Class SVM)(http：//rvlasveld.github.io/blog/2013/07/12/introduction-to-one-class-support-vector-machines/)或SVDD(支持向量数据描述，Support Vector Data Description)等。关于使各识别器进行学习的方法、以及识别误差的利用方法在后面叙述。
异常事件判定部14是基于识别部13输出的识别误差(即，由各识别器输出的多个识别误差)来判定在输入图像中是否包含异常事件的部件。异常事件是在通常的状态下不发生的事件，典型地说，存在人的晕倒或掉落、交通事故的发生、对处于警备状态的空间的侵入等，但也可以是其他事件。例如，也可以将生产线中的缺陷品的发生等作为异常事件。
此外，输出部15是对用户提示信息的部件。典型地说，由液晶显示器及其控制部件构成。另外，输出部15只要能够对用户传递信息，则也可以是显示器以外的部件。例如，也可以是输出声音的装置，也可以是用于发送电子邮件或即时消息等的通信装置。
图像取得部11、特征量取得部12、识别部13、异常事件判定部14的功能通过CPU等处理装置执行控制程序来实现。此外，该功能也可以通过ASIC(专用集成电路，Application Specific Integrated Circuit)等来实现，也可以通过它们的组合来实现。
(特征量的取得)
本实施方式所涉及的图像处理装置10进行的处理分为使用所输入的图像来使识别器进行学习的阶段(phase)、和使用学习完毕的识别器来进行输入图像的异常判定的阶段这两个阶段。无论在哪个阶段中，都取得对应于输入图像的特征量，使用该特征量来进行处理。首先，说明从输入图像取得特征量的方法。另外，在特征量的取得方法中存在几个方法，但在此，列举3D－LBP为例进行说明。
首先，说明成为3D－LBP的基本的LBP。
LBP(局部二进制模式)将关注像素和处于关注像素的附近的像素之间的关系以二进制模式来表示。图2是说明基于LBP的特征量的计算方法的图。标号201是切出了输入图像的一部分的具有3像素×3像素的尺寸的区域，中央的黑色所示的像素是处理对象的像素(关注像素)。
在此，生成表示处于关注像素的附近的八个像素的亮度值相对于关注像素是亮还是暗的模式。具体而言，若亮度值小于5则给予0，若为5以上则给予1。其结果，生成标号202那样的模式。将这样生成的二进制值从左上起按顺序排列，生成8比特的值(LBP值)。
并且，将按每个像素算出的LBP值按每个比特累计全部像素量，生成直方图。其结果，能够得到标号203所示的直方图。该直方图203(即8维的矢量)成为对应于图像整体的特征量。
以上说明的特征量是对应于一张静止图像的特征量。3D－LBP将LBP在时间方向上扩展，是添加了动态图像的帧间的运动的特征量。参照图3进行说明。在图3中，将图像的横向表示为X轴，将纵向表示为Y轴，将时间轴方向表示为T轴。
图3(A)所示的平面301表示对应于在某时刻的动态图像的帧的图像。即，对应于平面301的直方图311与前述的基于LBP的直方图203等价。
另一方面，平面302是将Y轴方向的坐标相同的像素在时间轴方向上排列的平面。与平面301相比仅轴不同，LBP值的取得方法以及直方图的生成方法与前述的方法相同。即，对应于平面302的直方图312与直方图311相同，成为8维的矢量。
此外，平面303是将X轴方向的坐标相同的像素在时间轴方向上排列的平面。与平面301相比仅轴不同，LBP值的取得方法以及直方图的生成方法与前述的方法相同。对应于平面303的直方图313与直方图311相同，成为8维的矢量。
像这样，在3D－LBP中，在使用时间轴定义三个平面，生成了三个直方图之后，连接该直方图而设为一个特征量。由于各直方图是8维的矢量，所以通过3D－LBP而生成的特征量成为24维的矢量。该24维的矢量成为对应于平面301～303这三张平面的特征量。
另外，在本例中，算出对应于三张平面的一个特征量，但也可以将平面的位置挪动而取得多个特征量。此时，24维的矢量的组成为某帧中的特征量。
此外，在本例中，说明了基于3D－LBP的特征量的计算方法，但在算出特征量的方法中，也可以使用任意方法。例如，也可以使用以矢量表示帧间的物体的运动的指标值(光流(optical flow))，也可以按每个帧算出特征量，也可以使用多个帧量的特征量的集合。对应于静止图像的特征量例如能够使用SIFT(尺度不变特征变换，Scale-Invariant Feature Transform)或SURF(快速鲁棒特征，Speed Up Robust Features)、HOG(定向梯度直方图，Histogramof Oriented Gradient)这样的已知的方法。
(识别器的学习)
接着，说明使识别部13具有的识别器进行学习的方法。
如前述那样，在本实施方式中，使用单类识别器作为识别器。单类识别器是能够判定对于某类的一致度的识别器。
图4是说明识别器的学习的图。在本实施方式中，识别部13通过执行以下说明的各步骤来进行识别器的学习。
(1)取得学习用的图像，求得特征量
首先，取得被估计为没有发生异常事件或发生了异常事件但其比例少的状态的图像作为学习用的图像，取得对应于该图像的特征量。另外，在本实施方式中，通过3D－LBP求得特征量。从而，学习用的图像是从动态图像取得的帧图像。此外，在本实施方式中，从多个动态图像取得图像，取得特征量。通过本步骤，对各动态图像取得多个以24维的矢量表示的特征量。
(2)对所取得的特征量进行分类
接着，生成与所取得的多个特征量对应的多个簇，将特征量分类到各簇。在聚类(clustering)的方法中，例如能够使用K平均法(K-means)、光谱聚类(spectrum clustering)等任意的方法。另外，也可以不使用聚类方法，而从所取得的特征量之中，随机选择N组样本，分类到N个簇。
此外，聚类不一定以自动的方式进行，也可以预先设定簇的数目或种类。例如，在已知正常的事件存在多个模式的情况下，也可以定义对应于该多个模式的簇，分类到其中一个模式。
在图4的例子中，从学习用图像提取的多个特征量被分类到四个特征量簇(以下，简称为“簇”)。
(3)使用分类后的特征量来使识别器进行学习
接着，使用被分类到各簇的特征量来使对应于各个簇的识别器进行学习。由于本例是对应于所得到的特征量的簇为四个的情况下的例子，因此使用四个识别器。
这样进行了学习的识别器能够识别输入数据和各簇之间的误差。例如，在事件A与特征量簇1建立对应的情况下，识别器1能够将所输入的数据和事件A之间的类似度以数值的方式输出。在以自动的方式进行了聚类的情况下，存在簇和特定的事件没有建立关联的可能性，但至少能够判定与在用于学习的图像内发生的事件的类似度。
(异常事件的判定)
接着，说明使用学习完毕的识别器来判定在所取得的图像中是否包含异常事件的方法。
图5是说明异常事件的判定的图。本实施方式所涉及的图像处理装置通过执行以下说明的各步骤来进行异常事件的判定。
(1)取得输入图像(识别对象的图像)，求得特征量
识别对象的图像是不知道是否发生了异常事件的图像。在此，使用与在学习时使用的方法相同的方法，取得对应于图像的特征量。
(2)将所取得的特征量输入至各识别器，取得识别误差
接着，将所取得的特征量分别输入至多个识别器。由此，能够得到输入图像和对应于各识别器的簇之间的识别误差。在此，将识别器i输出的识别误差设为Ei。
(3)基于多个识别误差，估计异常事件的发生
在识别器输出的识别误差大的情况下，可以说发生了与在学习时发生的事件不同的事件的可能性大。从而，能够基于各识别器输出的识别误差，估计异常事件的发生。
具体而言，在识别误差Ei的总和比阈值T大的情况、即ΣEi≥T的情况下，判定为发生了异常事件。识别器输出的识别误差之和大的情况表示所取得的特征量位于离任意簇都较远的位置上。即，能够估计发生了与在学习时发生的事件不同的事件的可能性大。
另外，在本例中，直接对各识别器输出的识别误差进行了相加，但也可以对各识别误差加权。例如，也可以将识别器i输出的识别误差设为Ei，将与其对应的权重设为Wi，在乘以了权重的识别误差的总和比阈值T大的情况、即ΣEiWi≥T的情况下，判定为发生了异常事件。
在此，说明对识别误差加权的方法。
权重的大小优选通过对应的簇具有什么程度的可靠度来决定。例如，也可以是属于该簇的样本的数目越少则使得权重越小，样本的数目越大则使得权重越大。这是因为认为样本数少的簇不适于在异常事件的判定中使用。
此外，也可以是属于簇的样本的方差越大则使得权重越小，方差越小则使得权重越大。这是因为认为在方差大的情况下，簇没有深入地与特定的事件建立对应，从而可靠度低。
(处理流程图)
接着，说明用于实现以上说明的功能的处理流程图。
图6是本实施方式所涉及的图像处理装置10进行的处理之中的、进行识别器的学习的处理的流程图。该处理通过用户的操作(例如，指示学习的开始的操作)而开始。
首先，在步骤S11中，图像取得部11取得学习用的图像。在本实施方式中，使用未图示的摄像机拍摄图像，但也可以经由通信部件取得图像，也可以取得存储部件中存储的图像。另外，在通过3D－LBP取得特征量的情况下，需要前后几帧量的图像，因此也可以预先取得所需的数目的帧量的图像。
接着，在步骤S12中，特征量取得部12取得与所取得的图像对应的特征量。在本实施方式中，使用3D－LBP取得特征量，但取得特征量的方法如前述那样不特别限定。此外，特征量的取得也可以对构成图像的全部像素进行，在存在较好地表示图像的特征的区域或像素的情况下，也可以仅对该区域或像素进行。
在步骤S13中，特征量取得部12对在步骤S12中取得的特征量进行聚类。聚类的方法如前述那样不特别限定。
通过以上说明的处理，对应于图像的特征量成为被分类到多个簇的状态。
在步骤S14中，识别部13使用被分类到各簇的特征量，进行分别对应于各簇的识别器的学习。
另外，为了得到学习所需的充分的量的数据，也可以重复执行图6所示的处理。此外，该处理也可以通过用户的操作以外而开始。例如，也可以在每次从上次的执行起经过规定的时间时自动地开始。此外，也可以通过用户的操作等，追加读入一个或多个数据，进行进一步的学习。
图7是本实施方式所涉及的图像处理装置10进行的处理之中的、进行异常事件的判定的处理的流程图。在图像处理装置10为启动中且识别器的学习完成的情况下，重复执行该处理。
步骤S21以及步骤S22的处理除了所取得的图像是评价对象的图像的点之外，与步骤S11以及步骤S12的处理等同，所以省略详细的说明。
在步骤S23中，识别部13将由特征量取得部12取得的特征量输入至各识别器。
接着，在步骤S24中，识别部13取得从各识别器输出的识别误差，并对全部识别误差进行合计从而算出得分。
并且，在步骤S25中，异常事件判定部14判定所算出的得分是否为阈值以上，在为阈值以上的情况下，判定为发生了异常事件，转移至步骤S26。在小于阈值的情况下，返回步骤S21，待机规定的时间后重复处理。
步骤S26是异常事件判定部14通过输出部15将探测到异常事件的意旨通知给用户的步骤。在输出部15为显示器的情况下，也可以通过画面显示进行通知，在具有能够进行声音输出或数据通信的部件的情况下，也可以通过声音或电子数据(即时消息或电子邮件等)进行通知。
如上说明，本实施方式所涉及的图像处理装置在取得对应于图像的特征量之后进行聚类，通过学习而生成对应于各簇的识别器之后，基于识别误差来判定有无发生异常事件。即，不是预先学习定义了正常/异常的场景，而是学习估计多半通常会产生的事件的多个场景之后，判定与该场景的背离，从而估计发生了异常事件的情况。通过这样，能够解决必须准备多个对应于异常事件的学习数据这样的以往的方法中的课题。此外，即使在正常事件存在多个种类且难以事先定义的情况下，也能够确保辨识精度。
(变形例)
上述的实施方式只是一例，本发明在不脱离其主旨的范围内能够适当变更而实施。
例如，在实施方式的说明中，使用了单类识别器作为识别器，但识别器不一定是单类识别器。例如，也可以是进行二项分类的二进制识别器。
此外，特征量取得部12取得的特征量不一定是对应于图像整体的特征量，也可以是对应于图像中包含的多个局部区域的特征量的集合。例如，也可以将图像分割为具有16像素×16像素的大小的正方区域，求得对应于各个区域的特征量的集合。此外，也可以以具有类似的特征的像素的集合即超像素为单位而求得特征量。
此外，在实施方式的说明中，通过单一的方法(3D－LPB)求得了特征量，但也可以通过多个方法而求得多组特征量，使用结合了这些多个特征量的特征量作为整体的特征量。
此外，在异常事件的判定中使用的阈值T中，也可以使用固定值，但也可以在实际中使异常事件发生而进行校准。即，也可以参照装置的输出而调整为能够准确地检测该异常事件的值。
此外，在实施方式的说明中，没有进行分类目的地的簇对应于怎样的场景的定义，但在几个场景中存在已知的簇的情况下，也可以使用该已知的簇进行分类。
此外，在实施方式的说明中，将动态图像作为对象而进行了异常事件的判定，但对象也可以是静止图像，也可以是声音。只要是能够算出特征量的数据，则对象也可以是任意的。
此外，在实施方式的说明中，分别输入了学习用的数据和评价用的数据，但也可以在使用学习用数据进行了学习之后，再次输入该学习用数据而进行异常事件的判定。

Claims (9)

1.一种事件检测装置，其特征在于，具有：
第一数据取得部件，取得第一数据；
多个识别器；
特征量分类部件，取得对应于所述第一数据的特征量，生成成为所取得的特征量的分类目的地的多个簇，将所述特征量分类到所述多个簇之中的其中一个；
学习部件，分别使用被分类到各簇的特征量来使所述多个识别器进行学习；
第二数据取得部件，取得第二数据；
识别部件，将对应于所述第二数据的特征量输入至进行了所述学习的多个识别器，从各识别器取得识别结果；以及
判定部件，基于所述取得的识别结果，判定在所述第二数据中是否包含辨识对象的事件。
2.如权利要求1所述的事件检测装置，其特征在于，
所述识别器是单类识别器，
所述判定部件求得从各识别器取得的辨识误差之和作为得分，基于所述得分来判定在所述第二数据中是否包含辨识对象的事件。
3.如权利要求2所述的事件检测装置，其特征在于，
所述判定部件在对从各识别器取得的辨识误差进行了加权之后进行评分。
4.如权利要求3所述的事件检测装置，其特征在于，
属于与识别器对应的簇的样本的数目越多，则所述判定部件对该识别器输出的辨识误差给予越大的权重。
5.如权利要求3所述的事件检测装置，其特征在于，
属于与识别器对应的簇的样本的方差越小，则所述判定部件对该识别器输出的辨识误差给予越大的权重。
6.如权利要求1至5的任一项所述的事件检测装置，其特征在于，
所述第一数据以及第二数据是图像。
7.如权利要求6所述的事件检测装置，其特征在于，
所述特征量是3D－LBP。
8.一种事件检测方法，由判定在所取得的数据中是否包含辨识对象的事件的事件检测装置进行，其特征在于，包含：
第一数据取得步骤，取得第一数据；
特征量分类步骤，取得对应于所述第一数据的特征量，生成成为所取得的特征量的分类目的地的多个簇，将所述特征量分类到所述多个簇之中的其中一个；
学习步骤，使用所述分类后的特征量来使分别对应于各簇的多个识别器进行学习；
第二数据取得步骤，取得第二数据；
识别步骤，将对应于所述第二数据的特征量分别输入至进行了所述学习的多个识别器，从各识别器取得识别结果；以及
判定步骤，基于所述取得的识别结果，判定在所述第二数据中是否包含辨识对象的事件。
9.一种事件检测装置，判定在所取得的数据中是否包含辨识对象的事件，其特征在于，具有：
数据取得部件，取得数据；
多个识别器；
识别部件，将与所述取得的数据对应的特征量输入至所述多个识别器，从各识别器取得识别结果；以及
判定部件，基于所述取得的识别结果，判定在所述取得的数据中是否包含辨识对象的事件，
所述多个识别器是分别使用从学习用的数据取得且被分类到多个簇的特征量，按每个该簇进行学习的识别器。
CN201510050532.0A 2014-03-14 2015-01-30 事件检测装置以及事件检测方法 Pending CN104915632A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014051652A JP6299299B2 (ja) 2014-03-14 2014-03-14 事象検出装置および事象検出方法
JP2014-051652 2014-03-14

Publications (1)

Publication Number Publication Date
CN104915632A true CN104915632A (zh) 2015-09-16

Family

ID=52544268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510050532.0A Pending CN104915632A (zh) 2014-03-14 2015-01-30 事件检测装置以及事件检测方法

Country Status (5)

Country Link
US (1) US20150262068A1 (zh)
EP (1) EP2919153A1 (zh)
JP (1) JP6299299B2 (zh)
KR (1) KR101708547B1 (zh)
CN (1) CN104915632A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106241534A (zh) * 2016-06-28 2016-12-21 西安特种设备检验检测院 多人乘梯异常活动智能监控方法
CN106241533A (zh) * 2016-06-28 2016-12-21 西安特种设备检验检测院 基于机器视觉的电梯乘员综合安全智能监控方法
CN107886521A (zh) * 2016-09-30 2018-04-06 富士通株式会社 事件检测装置和方法以及非暂态计算机可读存储介质
CN109885588A (zh) * 2019-01-23 2019-06-14 齐鲁工业大学 一种复杂事件检测方法及***
CN110472646A (zh) * 2018-05-09 2019-11-19 富士通株式会社 数据处理设备、数据处理方法及介质
CN111758117A (zh) * 2018-03-14 2020-10-09 欧姆龙株式会社 检查***、识别***以及学习数据生成装置
CN112912901A (zh) * 2018-10-18 2021-06-04 富士通株式会社 学习程序、学习方法以及学习装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101436369B1 (ko) * 2013-06-25 2014-09-11 중앙대학교 산학협력단 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법
US10277805B2 (en) * 2014-05-30 2019-04-30 Hitachi Kokusai Electric Inc. Monitoring system and camera device
JP2018032071A (ja) 2016-08-22 2018-03-01 株式会社クレスコ 検証装置、検証方法及び検証プログラム
JP6905850B2 (ja) * 2017-03-31 2021-07-21 綜合警備保障株式会社 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
JP6968645B2 (ja) * 2017-10-02 2021-11-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
DE102018203179A1 (de) * 2018-03-02 2019-09-05 Robert Bosch Gmbh Vorrichtung, insbesondere Handwerkzeugmaschinen-Verwaltungsvorrichtung, und Verfahren zur Überwachung und/oder zur Verwaltung einer Vielzahl von Gegenständen
JP7191238B2 (ja) * 2019-08-28 2022-12-16 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
US11653120B2 (en) 2019-08-28 2023-05-16 Sony Interactive Entertainment Inc. Sensor system, image processing apparatus, image processing method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070075050A (ko) * 2006-01-11 2007-07-18 삼성전자주식회사 분류기 통합을 위한 스코어 합성 방법 및 장치
US20090232403A1 (en) * 2005-06-15 2009-09-17 Matsushita Electric Industrial Co., Ltd. Object detecting apparatus and learning apparatus for the same
US20120057775A1 (en) * 2010-04-09 2012-03-08 Hirotaka Suzuki Information processing device, information processing method, and program
KR20120050660A (ko) * 2010-11-11 2012-05-21 고려대학교 산학협력단 얼굴 인식 기반의 얼굴 검색 시스템 및 그 방법
CN103605362A (zh) * 2013-09-11 2014-02-26 天津工业大学 基于车辆轨迹多特征的运动模式学习及异常检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250771A (ja) * 2004-03-03 2005-09-15 Fuji Photo Film Co Ltd 対象物識別装置および方法並びにプログラム
JP2008250908A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 映像判別方法および映像判別装置
JP5048625B2 (ja) * 2008-10-09 2012-10-17 株式会社日立製作所 異常検知方法及びシステム
US8649594B1 (en) * 2009-06-04 2014-02-11 Agilence, Inc. Active and adaptive intelligent video surveillance system
KR101287948B1 (ko) * 2011-12-13 2013-07-19 (주) 미디어인터랙티브 동작 인식 방법, 장치 및 이 방법을 수행하는 컴퓨터 판독 가능한 기록 매체
JP2012128877A (ja) 2012-03-19 2012-07-05 Toshiba Corp 不審行動検知システム及び方法
JP6131723B2 (ja) * 2012-11-26 2017-05-24 株式会社リコー 情報処理装置、情報処理方法、プログラムおよび記録媒体
KR102106135B1 (ko) * 2013-10-01 2020-05-04 한국전자통신연구원 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
KR101543105B1 (ko) * 2013-12-09 2015-08-07 현대자동차주식회사 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232403A1 (en) * 2005-06-15 2009-09-17 Matsushita Electric Industrial Co., Ltd. Object detecting apparatus and learning apparatus for the same
KR20070075050A (ko) * 2006-01-11 2007-07-18 삼성전자주식회사 분류기 통합을 위한 스코어 합성 방법 및 장치
US20120057775A1 (en) * 2010-04-09 2012-03-08 Hirotaka Suzuki Information processing device, information processing method, and program
KR20120050660A (ko) * 2010-11-11 2012-05-21 고려대학교 산학협력단 얼굴 인식 기반의 얼굴 검색 시스템 및 그 방법
CN103605362A (zh) * 2013-09-11 2014-02-26 天津工业大学 基于车辆轨迹多特征的运动模式学习及异常检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CYGANEK BOGUSLAW: ""Image segmentation with a hybrid ensemble of one-class support vector machines"", 《HYBRID ARTIFICIAL INTELLIGENCE SYSTEMS》 *
XU,JINGXIN等: ""Unusual event detection in crowded scenes using bag of LBPs in spatio-temporal patches"", 《DIGTAL IMAGE COMPUTING TECHNIQUES AND APPLICATIONS(DICTA),2011 INTERNATIONAL CONFERENCE ON IEEE,2011》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106241534A (zh) * 2016-06-28 2016-12-21 西安特种设备检验检测院 多人乘梯异常活动智能监控方法
CN106241533A (zh) * 2016-06-28 2016-12-21 西安特种设备检验检测院 基于机器视觉的电梯乘员综合安全智能监控方法
CN106241534B (zh) * 2016-06-28 2018-12-07 西安特种设备检验检测院 多人乘梯异常活动智能监控方法
CN107886521A (zh) * 2016-09-30 2018-04-06 富士通株式会社 事件检测装置和方法以及非暂态计算机可读存储介质
CN111758117A (zh) * 2018-03-14 2020-10-09 欧姆龙株式会社 检查***、识别***以及学习数据生成装置
CN111758117B (zh) * 2018-03-14 2023-10-27 欧姆龙株式会社 检查***、识别***以及学习数据生成装置
CN110472646A (zh) * 2018-05-09 2019-11-19 富士通株式会社 数据处理设备、数据处理方法及介质
CN110472646B (zh) * 2018-05-09 2023-02-28 富士通株式会社 数据处理设备、数据处理方法及介质
CN112912901A (zh) * 2018-10-18 2021-06-04 富士通株式会社 学习程序、学习方法以及学习装置
CN109885588A (zh) * 2019-01-23 2019-06-14 齐鲁工业大学 一种复杂事件检测方法及***

Also Published As

Publication number Publication date
JP2015176283A (ja) 2015-10-05
EP2919153A1 (en) 2015-09-16
KR20150107599A (ko) 2015-09-23
JP6299299B2 (ja) 2018-03-28
KR101708547B1 (ko) 2017-02-20
US20150262068A1 (en) 2015-09-17

Similar Documents

Publication Publication Date Title
CN104915632A (zh) 事件检测装置以及事件检测方法
US9600746B2 (en) Image processing apparatus and image processing method
CN102348128B (zh) 具有摄像机异常检测装置的监视用摄像机***
CN108062562B (zh) 一种物体重识别方法及装置
US8175333B2 (en) Estimator identifier component for behavioral recognition system
TW201737134A (zh) 用於藉由機器學習訓練物件分類器之系統及方法
US8630454B1 (en) Method and system for motion detection in an image
US8103091B2 (en) Object identification parameter learning system
US20160140422A1 (en) Image processing apparatus, image processing method and program
US9113143B2 (en) Detecting and responding to an out-of-focus camera in a video analytics system
Bedruz et al. Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach
EP4035070B1 (en) Method and server for facilitating improved training of a supervised machine learning process
CN110245673B (zh) 车位检测方法及装置
CN107133629B (zh) 图片分类方法、装置和移动终端
JP7222231B2 (ja) 行動認識装置、行動認識方法及びプログラム
US11605224B2 (en) Automated media editing operations in consumer devices
CN104573680A (zh) 图像检测方法、图像检测装置以及交通违法检测***
CN112163544A (zh) 一种非机动车辆乱摆放的判断方法及***
CN110969173A (zh) 目标分类方法及装置
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN111914844A (zh) 一种图像识别方法、装置、电子设备及存储介质
Hutagalung et al. The effectiveness of opencv based face detection in low-light environments
US20230005111A1 (en) Detecting hybdrid-distance adversarial patches
CN114067401A (zh) 目标检测模型的训练及身份验证方法和装置
KR20210089044A (ko) 물체 인식을 위한 학습 데이터를 선택하는 방법 및 상기 방법을 이용하여 학습된 물체 인식 모델을 이용하여 물체를 인식하는 물체 인식 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150916