CN111699512A - 异常场景检测***和方法 - Google Patents

异常场景检测***和方法 Download PDF

Info

Publication number
CN111699512A
CN111699512A CN201980011336.9A CN201980011336A CN111699512A CN 111699512 A CN111699512 A CN 111699512A CN 201980011336 A CN201980011336 A CN 201980011336A CN 111699512 A CN111699512 A CN 111699512A
Authority
CN
China
Prior art keywords
moving objects
motion
video scene
moving
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980011336.9A
Other languages
English (en)
Other versions
CN111699512B (zh
Inventor
张忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Truthvision Inc
Original Assignee
Truthvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Truthvision Inc filed Critical Truthvision Inc
Publication of CN111699512A publication Critical patent/CN111699512A/zh
Application granted granted Critical
Publication of CN111699512B publication Critical patent/CN111699512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)

Abstract

一种用于检测异常场景的方法可以包括：获得与视频场景有关的数据，基于该数据识别视频场景中的至少两个运动对象，并且基于该数据确定与至少两个运动对象相关的第一运动特征。该方法还可以包括基于数据确定与至少两个运动对象中的每个运动对象的至少一局部有关的第二运动特征。该方法可以进一步包括：基于第一运动特征和第二运动特征，确定至少两个运动对象是否参与争斗。

Description

异常场景检测***和方法
交叉引用
本申请要求2018年4月13日提交的美国临时专利申请No.62/657,033的优先权，其内容通过引用并入本文。
技术领域
本申请通常涉及监控***，并且更具体地涉及用于检测视频中的异常场景的方法和***。
背景技术
视频监控***广泛用于各种应用中，以检测和监控周围中的对象。例如，在安全应用中，这种***用于检测和追踪进入或离开建筑物设施或安全门的个人或车辆，或监控商店、办公楼、医院或其它类似周围中可能影响居住者健康和/或安全的个人。另一个例子是航空业，这种***已被用于在机场内关键位置，例如在安全门或停车场中检测人员的存在。近年来，视频监控***可用于自动监控人的行为。但是，当前的技术无法确定和/或解释视频场景中的人们意图或行为(例如，视频序列中两个或以上的人是否参与争斗，参与对话或参与其他活动)。期望提供用于基于视频监控来检测异常场景的***和方法。
发明内容
根据本申请的一个方面，一种用于检测异常场景的***可以包括存储一组指令存储设备和一个或以上与存储设备通信的处理器。当执行指令时，一个或以上处理器可以被配置为使***获得与视频场景相关的数据并基于数据识别视频场景中的至少两个运动对象。一个或以上处理器还可基于所述数据确定与至少两个运动对象有关的第一运动特征，并基于数据确定与至少两个运动对象中的每个运动对象的至少一局部有关的第二运动特征。一个或以上处理器还可以基于第一运动特征和第二运动特征确定至少两个运动对象是否参与争斗。
在一些实施例中，至少一个处理器可以被进一步用于追踪在视频场景中至少两个运动对象的运动。
在一些实施例中，为了追踪视频场景中至少两个运动对象的运动，所述至少一个处理器还可以被用于追踪视频场景中的至少两个运动对象中的每个运动对象的整体运动并追踪所述视频场景中的至少两个运动对象中的每个运动对象的至少一局部的运动。
在一些实施例中，与至少两个运动对象有关的第一运动特征可以包括以下至少之一：至少两个运动对象的运动轨迹、至少两个运动对象的运动强度或至少两个运动对象的运动一致性。
在一些实施例中，与至少两个运动对象中的每个运动对象的至少一局部有关的第二运动特征可以包括以下至少之一：两个运动对象中的每个运动对象的至少一局部的运动轨迹、至少两个运动对象中的每个运动对象的至少一局部的运动一致性或至少两个运动对象中的每个运动对象的至少一个运动对象的运动速度。
在一些实施例中，至少一个处理器可以被进一步被用于在视频场景中识别至少一个周围对象，确定与视频场景中的至少一个周围对象有关的第三运动特征，并基于第一运动特征、第二运动特征和第三运动特征，确定至少两个运动对象是否参与争斗。
在一些实施例中，基于第一运动特征和第二运动特征确定至少两个运动对象是否参与争斗，至少一个处理器可以进一步用于比较第一运动特征和第一标准进行，比较第二运动特征与第二标准，并基于第一运动特征与第一标准的比较以及第二运动特征与第二标准的比较，确定至少两个运动对象是否参与争斗。
在一些实施例中，所述至少一个处理器还可被用于基于与至少两个运动对象有关的生理信号或视频场景中的声音信号中的至少一个来确定至少两个运动对象是否参与争斗。
根据本申请的一个方面，提供了一种用于检测异常场景的方法。该方法可以包括：获得与视频场景有关的数据，基于该数据识别视频场景中的至少两个运动对象，基于该数据确定与至少两个运动对象有关的第一运动特征，基于该数据确定与所述至少两个运动对象中的每个运动对象的至少一局部有关的第二运动特征，并基于第一运动特征和第二运动特征确定至少两个运动对象是否参与争斗。
根据本申请的另一方面，非暂时性计算机可读介质可以包括指令。当由至少一个处理器执行时，所述执行可以使所述至少一个处理器实现用于检测异常场景的方法。该方法可以包括：获得与视频场景有关的数据，基于该数据识别视频场景中的至少两个运动对象，基于该数据确定与至少两个运动对象有关的第一运动特征，基于该数据确定与所述至少两个运动对象中的每个运动对象的至少一局部有关的第二运动特征，并基于第一运动特征和第二运动特征确定至少两个运动对象是否参与争斗。
本申请的一局部附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一局部附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。
附图说明
本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：
图1是根据本申请的一些实施例所示的用于处理视频数据的示例性处理引擎的示意图；
图2是根据本申请的一些实施例所示的用于处理视频数据的示例性流程的流程图；
图3是根据本申请的一些实施例所示的用于处理视频数据的示例性运动对象确定模块的示意图；
图4是根据本申请的一些实施例所示的用于检测运动对象的示例性流程的流程图；
图5是根据本申请的一些实施例所示的示例性争斗评估模块的示意图；
图6是根据本申请的一些实施例所示的用于检测运动对象的示例性流程的流程图；
图7是根据本申请的一些实施例所示的示例性争斗评估***的示意图；
图8是根据本申请的一些实施例所示的可以在其上实现处理引擎的示例性计算设备的示例性硬件和/或软件组件的示意图；以及
图9是根据本申请的一些实施例所示的可以在其上实现一个或以上终端的示例性移动设备的示例性硬件和/或软件组件的示意图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。然而，本领域技术人员应该明白，可以在没有这些细节的情况下实施本申请。在其它情况下，为了避免不必要地使本申请的各方面变得晦涩难懂，已经在较高的层次上描述了众所周知的方法、过程、***、组件和/或电路。对于本领域的普通技术人员来讲，显然可以对所公开的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其它实施例和应用场景。因此，本申请不限于所示的实施例，而是符合与申请专利范围一致的最广泛范围。
本申请中所使用的术语仅用于描述特定的示例性实施例，并不限制本申请的范围。如本申请使用的单数形式“一”、“一个”及“该”可以同样包括复数形式，除非上下文明确提示例外情形。还应当理解，如在本申请说明书中，术语“包括”、“包含”仅提示存在所述特征、整体、步骤、操作、组件和/或部件，但并不排除存在或添加一个或以上其它特征、整体、步骤、操作、组件、部件和/或其组合的情况。
应当理解的是，本文使用的“***”、“引擎”、“单元”、“模块”和/或“区块”是用于按升序区分不同级别的不同构件、元素、部件、部分或组件的方法。然而，如果其它词语可以实现相同的目的，则可通过其它表达来替换所述词语。
通常，本文所使用的词“模块”、“单元”或“块”是指体现在硬件或固件中的逻辑，或指代软件指令的集合。本文描述的模块、单元或块可以被实现为软件和/或硬件，并且可以被存储在任何类型的非暂时性计算机可读介质或其它存储设备中。在一些实施例中，可以编译软件模块/单元/块并将其链接到可执行程序中。将意识到，软件模块可以是可从其它模块/单元/块或从其自身调用的，和/或可以响应于检测到的事件或中断而被调用。被配置为在计算设备(例如，图8中所示的处理器810)上执行的软件模块/单元/块可以被提供在计算机可读介质(诸如光盘、数字视频盘、闪存驱动器、磁盘或任何其他有形媒体)上，或作为数字下载(并且可以原始以压缩或可安装的格式存储，需要在执行前进行安装、解压缩或解密)。这里的软件代码可以被部分的或全部的储存在执行操作的计算设备的存储设备中，并应用在计算设备的操作之中。软件指令可以被植入在固件中，例如可擦可编程只读内存(erasable programmable read only memory(EPROM))。还将意识到，硬件模块/单元/块可以被包括在连接的逻辑组件中，例如门和触发器，和/或可以包括在可编程单元中，例如可编程门阵列或处理器。本文描述的模块/单元/块或计算设备功能可以被实现为软件模块/单元/块，但是可以以硬件或固件来表示。通常，本文描述的模块/单元/块是指逻辑模块/单元/块，虽然它们是物理组织或存储，但是它们可以与其它模块/单元/块组合或划分为子模块/子单元/子块。该描述可以适用于***、发动机或其一部分。
将理解的是，当单元、引擎、模块或块被称为在另一单元、引擎、模块或块“上”、“连接”或“耦合至”另一单元、引擎、模块或块时，其可以直接在其它单元、引擎、模块或块上，与其连接或耦合或与之通信，或者可能存在中间单元、引擎、模块或块，除非上下文另有明确说明。在本申请中，术语“和/或”可包括任何一个或以上相关所列条目或其组合。
根据以下对附图的描述，本申请的这些和其它的特征、特点以及相关结构元件的功能和操作方法，以及部件组合和制造经济性，可以变得更加显而易见，这些附图都构成本申请说明书的一部分。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当理解的是，附图并不是按比例绘制的。
本申请的一个方面涉及一种用于检测异常场景的***和方法。***可以获取与视频场景相关的数据，并基于与视频场景相关的数据识别视频场景中的至少两个运动对象。该***还可基于数据确定与至少两个运动对象有关的第一运动特征，并基于数据确定与至少两个运动对象中的每个运动对象的至少一局部有关的第二运动特征。***还可以基于第一运动特征和第二运动特征，确定至少两个运动对象是否参与争斗。为了说明的目的，本申请描述了成像***的***和方法。下文所述的争斗评估***700仅用于说明目的，而无意限制本申请的范围。
图1是根据本申请的一些实施例所示的用于处理视频数据的示例性处理引擎140的示意图。如图所示，处理引擎140可以包括数据获取模块102、数据处理模块104、运动对象确定模块106、争斗评估模块108、警报模块110以及存储模块112。在一些实施例中，数据获取模块102、数据处理模块104、运动对象确定模块106、争斗评估模块108、警报模块110和存储模块112可以通过无线连接(例如网络)、有线连接或其组合而彼此连接到和/或彼此通信。
数据获取模块102可以获取与视频场景有关的数据。在一些实施例中，与视频场景相关的数据可以包括视频。如本文所使用的，术语“视频”可以指代以模拟和/或数字形式表示的动态图像。例如，视频可以包括来自摄像机或其它观测设备的电视、电影、图像序列、计算机生成的图像序列等，或其组合。如本文所使用的，序列(也被称为“帧”)可以指代视频中的特定图像或其它离散单元。在一些实施例中，可以从，例如实时信号源、存储设备、基于IEEE 1394的接口、视频数字化仪、计算机图形引擎、网络接口等，或其任意组合中获得视频。例如，数据获取模块102可以从监控设备120获取与视频场景有关的数据。在一些实施例中，监控设备120可以包括摄像机。如本文所使用的，摄像机可以指用于视觉记录的装置。例如，摄像机可以包括彩色摄像机、数码摄像机、摄像机、便携式摄像机、PC摄像机、网络摄像机、红外(IR)摄像机、低光摄像机、热敏摄像机、闭路电视(CCTV)摄像机、平移、倾斜、变焦(PTZ)相机、视频传感设备等或其组合。
监控设备120可以被安放在一定位置以监控感兴趣区域(AOI)。AOI可以在视频中反映为视频场景。在一些实施例中，视频场景可以包含一个或以上感兴趣的对象。感兴趣的对象可以包括人、车辆、动物、身体对象等，或其组合。感兴趣对象的动作可以反映在视频场景中。在一些实施例中，感兴趣对象的动作可以包括运动、发出声音、做出响应等，或其组合。在一些实施例中，一个或以上运动对象的一个或以上动作和/或动作组合也可以被称为一项活动。事件可以是指一个或以上对象参与了一项活动。该事件可以由位置和/或时间限定。在一些实施例中，与一个或以上对象有关的事件可以包括正常事件和异常事件。正常事件可以指由一个或以上对象执行的不会给对象或其他主体之一造成伤害的事件。异常事件可以指由一个或以上对象执行的可能会给对象和其他主体之一造成伤害的事件。例如，异常事件可以包括争斗、争吵、抢劫、聚众、冲突等。正常事件可以包括跳舞、打招呼(例如，握手)、锻炼(例如，跑步)、玩游戏等。
在一些实施例中，数据获取模块102可以将与视频场景有关的数据传输到处理引擎140的其他模块以进行进一步处理。例如，数据获取模块102可以将与视频场景有关的数据传输到数据预处理模块104以对数据进行预处理。又例如，数据获取模块102可以将与视频场景有关的图像数据传输到运动对象确定模块106，用于从视频场景确定运动对象。仍然作为示例，数据获取模块102可以将与视频场景有关的数据传输到存储模块112，以存储在本地数据库或远程数据库中。
数据预处理模块104可以预处理与视频场景有关的数据。在一些实施例中，与视频场景有关的数据的预处理可以包括增强操作、变换操作、压缩操作、边缘检测、分割操作、降噪操作等，或其组合。例如，可以执行变换操作以将与域(例如，空间域)中的视频场景有关的数据变换为用于确定视频场景中的运动对象的特征的另一域(例如，频域)。又例如，可以执行增强操作以增强视频场景的一局部(例如，主体部分)。作为又一个示例，可以执行分割操作以在视频场景中识别或分类运动对象。在一些实施例中，数据预处理模块104可以将与视频场景有关的预处理数据传输到处理引擎140的其他模块以进行进一步处理。例如，数据预处理模块104可以将与视频场景有关的预处理数据传输到运动对象确定模块106，以确定在视频场景中的一个或以上运动对象。
运动对象确定模块106可以在视频场景中确定一个或以上运动对象。在一些实施例中，视频场景可以包括主体部分和背景部分。主体部分可以包括一个或以上感兴趣的运动对象。例如，如果视频场景与室内环境(例如，房间)相关，则主体部分可以包括一个或以上的人、一个或以上动物(例如，狗)等，而背景部分可以包括一个或以上墙壁/窗户、一个或以上家具(例如，桌子、床等)、一个或以上盆栽等。又例如，如果视频场景与室外环境(例如，街道、公园等)相关，则主体部分可以包括一个或以上车辆、一个或以上行人等，而背景部分可以包括一个或以上植物、一个或以上建筑、一个或以上公共设施、雨水、雪地、摇曳的树枝等。
在一些实施例中，运动对象确定模块106可以基于一个或以上运动对象检测算法114来识别对象部分(例如，一个或以上运动对象)和/或从视频场景中过滤背景部分。示例性运动对象检测算法可以包括帧内差分算法、背景差分算法、光流算法等，或其组合。例如，背景差分算法可以包括时间差分算法、平均滤波算法、W4算法、高斯混合模型算法等。
在一些实施例中，运动对象确定模块106可以追踪视频场景中一个或以上运动对象。运动对象确定模块106可以基于与视频场景有关的数据(例如，连续图像帧)通过估计运动对象的运动状态来追踪视频场景中的一个或以上运动对象。在一些实施例中，可以通过确定在视频场景(例如，连续图像帧或序列)中反映的运动对象的一个或以上特征的匹配关系来追踪运动对象。运动对象的特征可以包括静态特征和动态特征。运动对象的静态特征可以指与运动对象的运动无关的特征。例如，运动对象反映在视频场景(例如，连续的图像序列或帧)中的静态特征可以包括形状(例如，高度、宽度、高宽比等)、颜色、纹理等，或其组合。运动对象反映在视频场景(例如，连续图像序列或帧)的动态特征可以与运动对象的运动有关。例如，运动对象的动态特征可以包括运动轨迹、运动速度、运动位移、运动方向、运动加速度等，或其组合。
在一些实施例中，运动对象确定模块106可以对一个或以上已识别或追踪的运动对象进行分类，以确定一个或以上运动目标。例如，被识别或追踪的运动对象可被分为生物体和非生物体。又例如，被识别或追踪的运动对象可被分为人和动物。在一些实施例中，可以基于被识别或追踪的运动对象的一个或以上特征(例如，静态特征和/或动态特征)来对所识别或追踪的运动对象进行分类。例如，被识别或追踪的运动对象可以包括人和车辆。运动对象确定模块106可以基于人和车辆的形状来对人和车辆进行分类。
在一些实施例中，运动对象确定模块106可以将与所确定的运动对象有关的数据传输到处理引擎140的其他模块以进行进一步处理。例如，运动对象确定模块106可以将与运动目标有关的特征传输到争斗评估模块108，来确定至少两个运动对象是否参与争斗。作为另一示例，运动对象确定模块106可以将与运动目标有关的特征传输到存储模块112进行存储。在图3中可以找到关于运动对象确定模块106的更多描述。
争斗评估模块108可以确定至少两个运动目标是否参与争斗。在一些实施例中，至少两个运动目标可以由运动对象确定模块106确定。在一些实施例中，争斗评估模块108可以基于与至少两个运动目标相关的动态特征(也称为运动特征)来确定至少两个运动对象是否参与争斗。在一些实施例中，动态特征可以包括第一运动特征、第二运动特征、第三运动特征等。如本文所使用的，与至少两个运动目标有关的第一运动特征(也称为全局运动特征)可以指的是与至少两个运动目标中的每个运动目标的整体有关的运动特征和/或与至少两个运动目标的整体有关的运动特征之间的关系。例如，与至少两个运动目标有关的第一运动特征可以包括至少两个运动目标的每个运动目标的整体的运动轨迹、至少两个运动目标的每个运动目标的整体的运动强度、至少两个运动目标的整体的运动一致性等，或其组合。与至少两个运动目标中的每个运动目标的至少一部分有关的第二运动特征(也称为局部运动特征)可以指的是与至少两个运动目标中的每个运动目标的局部有关的运动特征。例如，第二运动特征可以包括至少两个运动目标中每个运动目标的局部的运动轨迹、至少两个运动目标中的局部的运动一致性、至少两个运动目标中每个运动目标的局部的运动速度、至少两个运动目标中每个运动目标的局部的运动位移、至少两个运动目标中每个运动目标的局部的运动方向等，或其组合。第三运动特征(也称为周围运动特征)可以与至少两个运动目标周围的一个或以上对象的运动有关。运动特征的更多描述可以在图5和图6中找到。
此外，争斗评估模块108可以将第一运动特征与第一标准进行比较和/或将第二运动特征与第二标准进行比较。然后，争斗评估模块108可以基于第一运动特征和第一标准之间的比较以及第二运动特征和第二标准之间的比较来确定至少两个运动对象是否参与争斗。在图5中可以找到关于争斗评估模块108的更多描述。
在一些实施例中，争斗评估模块108可以连接到处理引擎140的其他模块和/或与其他模块通信。例如，争斗评估模块108可以将争斗评估结果传输到警报模块110，以生成与至少两个运动目标之间的争斗有关的警报信号。又例如，争斗评估模块108可以将争斗评估结果传输到存储模块112以存储在本地数据库或远程数据库中。
警报模块110可以生成与至少两个运动目标之间的争斗有关的警报信号。与争斗有关的警报信号可以是声音、文本、图像、视频等的形式，或其组合。在一些实施例中，警报模块110可以连接到一个或以上终端160和/或与终端160通信以将与警报信号有关的信息提供给用户。在一些实施例中，与警报信号有关的信息可以以声音、文本、图像、视频或其组合中的至少一种显示在一个或以上终端160的用户界面上。在一些实施例中，与警报信号有关的信息可以显示在终端160的用户界面上的一个或以上视图窗中，其中，一个视图窗可以以一种分辨率显示至少一个全景场景而至少一个其他视图窗可以以不同的分辨率显示专注于至少两个运动目标的局部场景。终端160可以包括移动设备、平板计算机、…、膝上型计算机等，或其任何组合。例如，移动设备可以包括运动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、笔记本电脑、平板电脑等，或其任意组合。在一些实施例中，终端160可以包括输入设备、输出设备等。输入设备可以包括字母数字和其他键，输入设备可以经由键盘、触摸屏(例如，具有触觉或触觉反馈)输入、语音输入、眼球追踪输入、大脑检测***或任何其他类似的输入机制。通过输入设备接收到的输入信息可以发送到处理设备140做进一步处理。其他类型的输入设备可以包括光标控制设备，例如鼠标、轨迹球或光标方向键等。输出设备可以包括显示器、扬声器、打印机等，或其任意组合。在一些实施例中，警报模块110可以连接到监控设备120和/或与监控设备120通信。例如，监控设备120可以从警报模块110接收与至少两个运动目标之间的争斗有关的警报信号。又例如，监控设备120可以响应于至少两个运动目标之间的与争斗相关的警报信号，向至少两个运动目标生成干预信号(例如，警告、电击等)。
存储模块112可以基于与视频场景有关的数据来存储与争斗评估有关的数据、指令和/或任何其他信息。在一些实施例中，存储模块112可以存储从处理引擎140、终端160和/或监控设备120获得的数据。在一些实施例中，存储模块112可以存储处理引擎140执行或用来执行本申请中描述的示例性方法的数据和/或指令。在一些实施例中，存储模块112可以包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等或其任意组合。示例性大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDR SDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可以包括掩模型只读内存(MROM)、可编程只读内存(PROM)、可擦除可编程只读内存(EPROM)、电可擦除可编程只读内存(EEPROM)、光盘只读内存(CD-ROM)和数字多功能磁盘只读内存等。在一些实施例中，可以在本申请中其它地方描述的云平台上实现存储模块112。在一些实施例中，存储模块112可以与处理引擎140中的一个或以上其他部件连接和/或与之通信。处理引擎140中的一个或以上组件可以访问存储模块112中存储的数据或指令。
该描述旨在是说明性的，而不是限制本申请的范围。许多替代、修改和变化对本领域普通技术人员将是显而易见的。本文描述的示例性实施方式的特征、结构、方法和其他特征可以以各种方式组合以获得另外的和/或替代的示例性实施方式。然而，这些变化和修改不会背离本申请的范围。例如，监控设备120可以包括一个或以上生理信号测量设备，例如示波测量设备、便携式心电图(ECG)监视器、便携式光电容积描记(PPG)监视器等，或其组合。又例如，与运动对象有关的特征可进一步包括生理信号特征。
图2是根据本申请的一些实施例所示的用于处理视频数据的示例性流程200的流程图。在一些实施例中，在图2所示的流程200的一个或以上操作可以在图7所示的争斗评估***700中实现。例如，图2所示的流程200可以以指令的形式存储在存储器780中，并可被处理设备740(例如，由图8所示的计算设备800的处理器810、如图9所示的移动设备900的GPU930或CPU 940)调用和/或执行。
在202中，可以获取与视频场景有关的数据。操作202可以由数据获取模块102执行。在一些实施例中，与视频场景有关的数据可以包括本申请中其他地方(例如，图1及其说明)所述的视频。在一些实施例中，可以从监控设备720、存储器780、终端760或任何其他外部存储设备获得与视频场景有关的数据。
在204中，可以在视频场景中检测运动对象。操作204可以由运动对象确定模块106执行。在一些实施例中，可以根据结合图4描述的流程400，基于在本申请中的其他地方(例如，图1及其描述)描述的一个或以上运动对象检测算法，在视频场景中检测运动对象。
在206中，可以确定与检测到的运动对象有关的一个或以上运动特征。操作206可以由运动对象确定模块106执行。与所检测到的运动对象有关的运动特征可以包括与所标识的运动对象中的每个运动对象的整体有关的第一运动特征，与所标识的运动对象中的每个运动对象的局部有关的第二运动特征，等等。所检测到的运动对象中的每个运动对象的局部可以包括手、手臂、手指、拇指、脚、肘、膝盖、头部等。与所标识的运动对象的整体有关的第一运动特征可以包括所检测到的运动对象中的每个运动对象的整体的运动轨迹、所检测到的运动对象中的每个运动对象的整体的运动强度、所检测到的运动对象的整体的运动一致性等，或其组合。与所检测的运动对象中的每个运动对象的至少一局部有关的第二运动特征可以包括所检测的运动对象中每个运动对象的局部的运动轨迹、所检测的运动对象中的每个运动对象的局部的运动一致性、所检测的运动对象中的每个运动对象的局部的运动速度、所检测到的运动对象中的每个运动对象的局部的运动位移，所检测到的运动对象的每个运动对象的局部的运动方向等，或其组合。
在208中，可以确定在检测到的运动对象中是否出现争斗。操作206可以由争斗评估模块108执行。如果确定在检测到的运动对象中出现争斗，则流程200可以继续执行操作210。如果确定在检测到的运动对象中没有发生争斗，则流程200可以继续执行操作202。在一些实施例中，可以基于与检测到的运动对象有关的运动特征来确定检测到的运动对象中是否发生了争斗。此外，可以基于与检测到的运动对象中的每个运动对象的整体有关的第一运动特征和/或与检测到的运动对象中的每个运动对象的局部有关的第二运动特征，来确定在检测到的运动对象中是否发生了争斗。在图6中可以找到用于确定在检测到的运动对象中是否出现争斗的更多描述，及其描述。
在210中，可以根据被检测到的运动对象之间发生的争斗生成报警信号。操作210可以由警报模块110执行。关于检测到的运动对象中发生的争斗的警报信号可以是声音、文本、视频、图像等或其组合。在一些实施例中，关于检测到的运动对象中发生的争斗的警报信号可以被发送到与用户相关联的设备(例如，终端760、终端160等)，以向用户提供与发出警报信号相关的信息。在一些实施例中，与警报信号有关的信息可以以声音、文本、图像、视频或其组合中的至少一种显示在一个或以上终端160的用户界面上。在一些实施例中，与警报信号有关的信息可以显示在终端160的用户界面中的一个或以上视图窗中，其中，一个视图窗可以以一种分辨率显示至少一个全景场景而至少一个其他视图窗可以以不同的分辨率显示专注于至少两个运动目标的局部场景。在一些实施例中，关于检测到的运动对象中发生的争斗的警报信号可以被发送到与检测到的运动对象相关联的监控设备(例如，监控设备720、监控设备120等)，以向检测到的运动对象或与检测到的运动对象相关的其他对象提供干扰信号。用于向检测到的运动对象或与检测到的运动对象相关联的其他对象生成的干预信号可以是图像、声音、文本、电击等形式，或其组合。例如，用于向检测到的运动对象生成的干预信号可以包括由监控设备(例如，智能穿戴设备)响应于针对检测到的运动对象发生争斗的警报信号而产生的电击。又例如，用于向检测到的运动对象生成的干预信号可以包括响应于针对所检测到的运动对象中发生的争斗的警报信号而由监控设备生成的蜂鸣，该监控设备包括蜂鸣器。
该描述旨在是说明性的，而不是限制本申请的范围。许多替代、修改和变化对本领域普通技术人员将是显而易见的。本文描述的示例性实施方式的特征、结构、方法和其他特征可以以各种方式组合以获得另外的和/或替代的示例性实施方式。然而，这些变化和修改不会背离本申请的范围。例如，操作204可以被分为多个操作。此外，操作204可以包括在视频场景中标识运动对象。操作204可以进一步包括在与视频场景有关的数据中追踪所识别的运动对象。又例如，操作206可以集成到操作204中。作为又一示例，流程200可以进一步包括存储在操作202-210期间生成的中间数据(例如，运动特征、警报信号、争斗评估结果等)。
图3是根据本申请的一些实施例所示的用于处理视频数据的示例性运动对象确定模块106的示意图。如图所示，运动对象确定模块106可以包括对象识别单元302、对象追踪单元304、对象分类单元306、目标描述单元308以及场景变化检测器310。在一些实施例中，对象识别单元302、对象追踪单元304、对象分类单元306、目标描述单元308和场景变化检测器310可以经由无线连接(例如，网络)、有线连接或其组合彼此连接和/或彼此通信。
对象识别单元302可以基于与视频场景有关的数据来识别运动对象。可以如本申请中的其他地方所述获得与视频场景相关的数据(例如，图1和图2，及其说明)。在一些实施例中，与视频场景有关的数据可以包括与视频场景有关的多个图像序列。对象识别单元302可以基于如本申请中其他地方(例如，图1及其描述)所述的一个或以上运动对象检测算法从多个图像序列中检测和/或提取运动对象。在一些实施例中，对象识别单元302可以与运动对象确定模块106的其他组件连接和/或通信。例如，对象识别单元302可以将所识别的至少两个运动对象传输到对象追踪单元304用于追踪至少两个运动对象。又例如，对象识别单元302可以将所识别的至少两个运动对象传输到场景变化检测器310，用于确定两个运动对象的运动变化。
对象追踪单元304可以追踪与由对象识别单元302所识别的运动对象有关的运动。在一些实施例中，对象追踪单元304可以在多个图像序列中追踪每个图像序列识别出的运动对象的整体的运动。例如，对象追踪单元304可以在多个图像序列中追踪识别出的运动对象的每一个运动对象的身体轮廓。又例如，对象追踪单元304可以在多个图像序列中追踪识别出的运动对象的每一个运动对象的估计重心。在一些实施例中，对象追踪单元304可以在多个图像序列中追踪识别出的运动对象的每个运动对象局部的运动。例如，对象追踪单元304可以在多个图像序列中追踪识别出的运动对象的每一个运动对象局部的轮廓。对象追踪单元304可以确定多个图像序列中的至少两个图像中的运动对象的匹配关系，以追踪与至少两个运动对象有关的运动。对象追踪单元304可以进一步确定至少两个运动对象和/或至少两个运动对象中的每个运动对象的局部的运动状态和/或运动轨迹。在一些实施例中，对象追踪单元304可以基于一个或以上运动对象追踪算法314来追踪至少两个运动对象的运动。示例性运动对象追踪算法可以包括基于估计的追踪算法、基于特征的追踪算法、基于模型的追踪算法、基于区域的追踪算法、基于运动轮廓的追踪算法等，或其组合。基于估计的追踪算法可以包括卡尔曼滤波算法、粒子滤波算法等。基于特征的追踪算法可以利用对象的特征(例如，形状、纹理、颜色、边缘等)来追踪对象。基于区域的追踪算法可以包括Camshift算法、基于内核的追踪算法、信赖域追踪算法等。基于运动轮廓的追踪算法可以包括应用Snake模型、隐马尔可夫模型(HMM)等。
在一些实施例中，对象追踪单元304可以与运动对象确定模块106的其他组件连接和/或通信。例如，对象追踪单元304可以将追踪的至少两个运动对象传输到对象分类单元306，以对至少两个运动对象进行分类。又例如，对象追踪单元304可以将识别出的至少两个运动对象传输到场景变化检测器310，以用于确定至少两个运动对象的运动变化。
对象分类单元306可以对由对象识别单元302识别出的或由对象追踪单元304追踪的至少两个运动对象进行分类。在一些实施例中，对象分类单元306可以从由对象识别单元302识别出的或对象追踪单元304追踪的至少两个运动对象中确定目标。在一些实施例中，被识别或追踪的至少两个运动对象可以包括至少两个运动目标。例如，至少两个运动对象可包括至少两个人、一个或以上运动车辆、一个或以上动物等。对象分类单元306可将至少两个人与一个或以上运动车辆和一个或以上运动动物区分开。在一些实施例中，对象分类单元306可以通过分类器技术基于至少两个运动对象的形状信息(例如，轮廓、面积、高度、宽度等)来对至少两个运动对象进行分类。示例性分类器技术可以包括决策树算法、逻辑回归算法、朴素贝叶斯算法、神经网络算法等，或其组合。
在一些实施例中，对象分类单元306可以与运动对象确定模块106的其他组件连接和/或通信。例如，对象分类单元306可以将确定的目标传输到目标描述单元308，用于描述至少两个运动对象的。又例如，对象分类单元306可以将确定的目标传输到场景变化检测器310，用于确定目标的运动变化。
目标描述单元308可以提取与运动目标有关的特征，并使用一个或以上特征描述符来描述运动目标的特征。示例性特征描述符可以包括尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、基于多支持区域阶的梯度直方图(MROGH)、二进制鲁棒独立基础特征(BRIEF)、仿射SIFT等，或其组合。在一些实施例中，目标描述单元308可以与运动对象确定模块106的其他组件连接和/或通信。
场景变化检测器310可以确定与视频场景有关的变化。在一些实施例中，与视频场景相关的变化可以包括与运动对象相关的特征的变化、信号丢失等。例如，与运动对象相关的特征变化可以包括动态特征的变化、静态特征的变化等。在一些实施例中，与视频场景有关的信号丢失可以指与视频场景有关的数据丢失。例如，与视频场景相关的数据可以丢失与一段时间相对应的一部分数据。在一些实施例中，场景变化检测器310可以连接到和/或与运动对象确定模块106的其他组件通信。例如，场景变化检测器310可以将与视频场景有关的变化发送到目标描述单元308，用于描述与运动对象有关的特征。
该描述旨在是说明性的，而不是限制本申请的范围。许多替代、修改和变化对本领域普通技术人员将是显而易见的。本文描述的示例性实施方式的特征、结构、方法和其他特征可以以各种方式组合以获得另外的和/或替代的示例性实施方式。然而，这些变化和修改不会背离本申请的范围。例如，目标描述单元308和对象分类单元306可以集成为一个单元。又例如，目标描述单元308和场景变化检测器310可以集成为一个单元。作为又一示例，可以省略对象分类单元306和/或场景变化检测器310。
图4是根据本申请的一些实施例所示的用于检测运动对象的示例性流程400的流程图。在一些实施例中，图4所示的流程400的一个或以上操作可以在图7所示的争斗评估***700中实现。例如，图4所示的流程400可以以指令的形式存储在存储器780中，并可以由处理设备740(例如，由图8所示的计算设备800的处理器810、如图9所示的移动设备900的GPU930或CPU 940)调用和/或执行。
在402中，可以基于与视频场景有关的数据来识别视频场景中的多个运动对象。操作402可以由对象识别单元302执行。在一些实施例中，与视频场景相关的数据可以包括本申请中其他地方描述(例如，图1和图2，及其说明)的视频。视频可以包括多个图像序列(也称为图像帧)。多个运动对象可以以特定的姿势、特定的位置、特定的形状等反映在多个图像序列的至少一部分中。在一些实施例中，可以从监控设备720、存储设器780、终端760或任何其他外部存储设备获得与视频场景有关的数据。
可以基于一个或以上运动对象检测算法从多个图像序列中识别多个运动对象，如本申请中其他地方(例如，图1及其描述)所述。
在404中，可以在与视频场景有关的数据中追踪两个或以上运动对象。操作404可以由对象追踪单元304执行。在一些实施例中，对象追踪单元304可以在多个图像序列中追踪两个或以上运动对象中的每个运动对象的整体的运动。例如，对象追踪单元304可以在多个图像序列中追踪两个或以上运动对象中的每个运动对象的身体轮廓。又例如，对象追踪单元304可以在多个图像序列中追踪两个或以上运动对象中的每个运动对象的估计重心。在一些实施例中，对象追踪单元304可以追踪多个图像序列中两个或以上运动对象中的每个运动对象的局部的运动。例如，对象追踪单元304可以追踪多个图像序列中两个或以上运动对象中的每个运动对象的局部的轮廓。两个或以上运动对象中的每个运动对象的局部可以包括两个或以上运动对象的每个运动对象的整体的局部，如本申请中其他地方所述。在一些实施例中，对象追踪单元304可以基于一个或以上运动对象追踪算法314来追踪至少两个运动对象的运动。进一步地，对象追踪单元304可以执行基于斑点的追踪。例如，对象追踪单元304可以连接运动像素以形成斑点。然后，对象追踪单元304可以追踪斑点以追踪两个或以上运动对象。在一些实施例中，两个或以上运动对象可以包括第一部分和第二部分。第二部分中的运动对象可以围绕着第一部分中的运动对象。在一些实施例中，在视频场景中第二部分的运动对象可以聚集在第一部分的运动对象的周围。
在406中，可以对两个或以上运动对象分类，以确定两个或以上运动对象中的目标。操作406可以由对象分类单元306执行。在一些实施例中，目标可以包括人。在一些实施例中，两个或以上运动对象可以根据两个或以上运动对象的特征(例如静态特征(例如，轮廓、面积、高度、宽度等))通过分类器技术被分类。示例性分类器技术可以包括决策树算法、逻辑回归算法、朴素贝叶斯算法、神经网络算法等，或其组合。
在408中，可以描述目标。操作408可以由目标描述单元308执行。在一些实施例中，与目标有关的特征和/或与目标有关的特征之间的关系可以用一个或以上描述符表示。示例性描述符可以包括几何特征描述符、拓扑特征描述符、区域描述符、边界处描述符、纹理描述符等，或其组合。与目标有关的特征可以包括静态特征和动态特征，如本申请中其他地方所述。在一些实施例中，目标的静态特征可以用一个或以上描述符来描述。
该描述旨在是说明性的，而不是限制本申请的范围。许多替代、修改和变化对本领域普通技术人员将是显而易见的。本文描述的示例性实施方式的特征、结构、方法和其他特征可以以各种方式组合以获得另外的和/或替代的示例性实施方式。然而，这些变化和修改不会背离本申请的范围。例如，可以在操作404之前执行操作406。又例如，操作402和406可以同时执行。仍作为示例，可以省略操作408和/或操作406。
图5是根据本申请的一些实施例所示的示例性争斗评估模块108的示意图。如图所示，争斗评估模块108可以包括特征确定单元520、事件检测器540和争斗检测器560。在一些实施例中，特征确定单元520、事件检测器540和争斗检测器560可以经由无线连接(例如，网络)、有线连接或其组合而彼此连接和/或彼此通信。
特征确定单元520可以包括全局运动特征确定子单元522、局部运动特征确定子单元524、周围运动特征子单元526以及历史特征确定子单元528等。
全局运动特征确定子单元522可以确定与每个运动目标的整体有关的全局运动特征(如图1所示也称为第一运动特征)。在一些实施例中，与每个运动目标的整体有关的全局运动特征可以包括每个运动目标整体的运动轨迹、每个运动目标整体的运动强度、运动目标之间的运动一致性等。每个运动目标整体的运动轨迹可以表示整体从开始到结束运动的空间特征。每个运动目标整体的运动轨迹可以由运动轨迹的方向、运动轨迹的幅度等来定义。运动轨迹的幅度可以与运动轨迹的长度有关。每个运动目标整体的运动强度可以与运动速度、运动频率等有关。例如，每个运动目标整体的运动速度越大，则每个运动目标整体的运动强度越大。如本文所使用的，运动频率可以指每个运动目标整体做出相同动作(例如，跳跃、来回移动等)的频率。每个运动目标整体的运动频率越高，每个运动目标整体的运动强度就越大。运动目标之间的运动一致性可以指运动目标的运动轨迹之间的相似度。运动目标的运动轨迹之间的相似度越大，运动目标之间的运动一致性就越大。在一些实施例中，运动目标的运动轨迹之间的相似度可以指运动方向上的相似度、运动速度上的相似度、运动轨迹是否相交，或其组合。例如，以相同方向和相同速度运动的运动目标之间的运动轨迹的相似度可以比以相同方向但以不同速度运动的运动目标之间的运动轨迹的相似度更高(例如，一个追逐另一个)。因此，以相同方向和相同速度奔跑的运动目标之间的运动一致性可以高于以相同方向但以不同速度奔跑的运动目标之间的运动一致性(例如，一个追逐另一个)。又例如，彼此相交的运动目标之间的运动轨迹可以比以相同方向和相同速度行驶的运动目标之间的运动轨迹相似度低。因此，彼此相交的运动目标之间的运动一致性可以低于以相同方向和相同速度行驶的运动目标之间的运动一致性。
局部运动特征确定子单元524可以确定与运动目标的每个运动目标的整体的局部有关的局部运动特征(也如图1中所述被称为第二运动特征)。运动目标的整体的局部可以包括手、手臂、手指、拇指、脚、肘、膝盖、头部等。在一些实施例中，与每个运动目标的整体的局部有关的局部运动特征可以包括每个运动目标的整体的局部的运动轨迹、每个运动目标的整体的局部的运动速度、运动目标的整体的局部的运动一致性等。每个运动目标的整体的局部的运动轨迹可以表示每个运动目标的整体的局部从开始到结束移动的空间特征。每个运动目标的整体的局部的运动轨迹可以通过运动轨迹的方向、运动轨迹的幅度等来限定。运动轨迹的幅度可以与每个运动目标的整体的局部相对于每个运动目标的整体的移动长度、每个运动目标的整体的局部相对于每个运动目标的整体的移动角度等有关。运动目标的整体的局部之间的运动一致性可以指的是运动目标的整体的局部的运动轨迹的相似性。运动目标的整体的局部的运动轨迹之间的相似性越大，运动目标的整体的局部之间的运动一致性就越大。例如，在一起跳舞的运动目标的整体的局部的运动轨迹相似度可以高于在争斗中的运动目标的整体的局部的运动轨迹的相似度。在一起跳舞的运动目标的整体的局部的运动一致性可以高于在争斗中的运动目标的整体的局部的运动一致性。
周围运动特征确定子单元526可以确定运动目标周围的运动对象的运动特征。如本文所使用的，如果运动对象在距运动目标的特定范围内，则可认为运动对象围绕运动目标。例如，如果运动对象在距运动目标的预定范围内，则可以认为运动对象围绕运动目标。运动目标周围的运动对象的运动特征可以包括与运动目标周围的运动对象中的每个运动对象的整体有关的第一运动特征(即，全局运动特征)和/或与上述运动目标周围的每个运动对象的局部有关的第二运动特征(即局部运动特征)。在一些实施例中，运动目标周围的运动对象的运动特征还可以包括互动性运动特征，与运动目标和运动目标周围的运动对象之间的互动有关。
历史特征确定子单元528可以确定与运动目标所处的区域和/或运动目标所处该区域的时间有关的历史统计数据。在一些实施例中，历史统计数据可以与运动目标所在的区域有关。此外，与运动目标所处的区域有关的历史统计数据可以包括在历史上一个或以上运动对象出现在运动目标所处的区域的频率。在一些实施例中，历史统计数据可以与运动目标所处的区域以及运动目标停留在该区域的时间有关。另外，历史统计数据可以包括在运动目标所处的区域以及运动目标所处该区域的时间内出现一个或以上运动对象的频率。在一些实施例中，与运动目标所处的区域有关的历史统计数据可以包括在该区域、该时间、以及多个运动目标之间等，或其组合发生争斗的概率。
事件检测器540可以基于与由特征确定单元520确定的运动目标有关的运动特征，来检测在一个或以上运动目标之间发生的一个或以上事件。在一些实施例中，事件可以包括与单个运动目标有关的个体事件和与至少两个运动目标有关的***。例如，与单个运动目标有关的单个事件可以包括跳舞、打招呼、锻炼(例如，奔跑)、抢劫、偷窃等。集体事件可以包括争斗、争吵、聚众、冲突等。在一些实施例中，事件可以包括在运动目标之间发生的异常事件和正常事件，如本申请中其他地方所述。例如，异常事件可以包括争斗、争吵、抢劫、聚众、冲突等。正常事件可以包括跳舞、打招呼(例如，握手)、锻炼(例如，跑步)、玩游戏等。
在一些实施例中，一个或以上运动目标之间发生的事件可以由事件发生的区域、事件发生的时间和/或与事件所涉及的运动目标有关的运动特征来限定。在一些实施例中，事件检测器540可以通过确定事件发生的区域、事件发生的时间和/或与事件所涉及的运动目标有关的运动特征来检测事件。与事件所涉及的运动目标有关的运动特征可以包括全局运动特征、局部运动特征、周围运动特征和历史特征中的至少之一。
争斗检测器560可以基于与特征确定单元520确定的运动目标有关的运动特征，来确定事件检测器540检测到的运动目标之间发生的事件是否包括争斗。
在一些实施例中，争斗检测器560可以通过比较与运动目标有关的全局运动特征与第一标准来确定运动目标之间发生的事件是否包括争斗。如果与运动目标有关的全局运动特征满足第一标准，则争斗检测器560可以确定运动目标之间发生的事件包括争斗。如果与运动目标有关的全局运动特征不满足第一标准，则争斗检测器560可以确定运动目标之间发生的事件不包括争斗。例如，如果争斗检测器560确定运动目标的整体的运动轨迹不相交，则争斗检测器560可以确定在运动目标之间发生的事件可能不包括争斗。如果争斗检测器560确定运动目标的整体的运动轨迹重复相交，这意味着运动目标反复彼此接近彼此分离，则争斗检测器560可以确定运动目标之间发生的事件可以包括争斗。又例如，如果争斗检测器560确定运动目标的整体的运动强度超过第一阈值，则争斗检测器560可以确定运动目标之间发生的事件可以包括争斗。仍然作为示例，如果运动目标之间的运动一致性低于第二阈值，则争斗检测器560可以确定发生在运动目标之间的事件可以包括争斗。再例如，如果运动目标以稳定的步调或模式跑步或跳舞，则运动目标之间的运动一致性可以高于第二阈值，则争斗检测器560可以确定运动目标之间发生的事件不包括争斗。
在一些实施例中，争斗检测器560可以通过将与运动目标有关的局部运动特征与第二标准进行比较来确定运动目标之间发生的事件是否包括争斗。如果与运动目标有关的局部运动特征满足第二标准，则争斗检测器560可以确定运动目标之间发生的事件包括争斗。如果与运动目标有关的局部运动特征不满足第二标准，则争斗检测器560可以确定在运动目标之间发生的事件不包括争斗。例如，如果争斗检测器560确定运动目标的整体的局部的运动轨迹不相交，则争斗检测器560可以确定在运动目标之间发生的事件可以不包括争斗。如果争斗检测器560确定运动目标的整体的局部的运动轨迹重复相交，这意味着运动目标各部分反复彼此接近彼此分离，则争斗检测器560可以确定运动目标之间发生的事件可以包括争斗。又例如，如果争斗检测器560确定运动目标的整体的局部的运动速度超过第三阈值，则争斗检测器560可以确定在运动目标之间发生的事件可以包括争斗。作为又一示例，如果运动目标的整体的局部之间的运动一致性低于第四阈值，则争斗检测器560可以确定运动目标之间的事件可以包括争斗。再例如，如果运动目标以稳定的步调或模式跑步或跳舞，则运动目标的整体的局部之间的运动一致性可以高于第四阈值，则争斗检测器560可以确定运动目标之间发生的事件不包括争斗。
在一些实施例中，争斗检测器560可以通过将与运动目标有关的全局运动特征与第一标准进行比较。将与运动目标有关的局部特征与第二标准进行比较，并将与运动目标有关的周围运动特征与第三标准进行比较，来确定运动目标之间发生的事件是否包括争斗。如果与运动目标相关的全局运动特征满足第一标准，与运动目标相关的局部运动特征满足第二标准，和/或与运动目标相关的周围运动特征满足第三标准，则争斗检测器560可以确定运动目标之间发生的事件包括争斗。如果与运动目标有关的全局运动特征不满足第一标准，与运动目标有关的局部运动特征不满足第二标准，和/或与运动目标有关的周围运动特征不满足第三标准，争斗检测器560可以确定运动目标之间发生的事件不包括争斗。
在一些实施例中，争斗检测器560可以基于与运动目标有关的运动特征确定运动目标之间发生的事件是否包括争斗。此外，争斗检测器560可以以预定标准来评估事件。在一些实施例中，预定标准可以包括与争斗有关的预定模型。争斗检测器560可以利用与争斗有关的预定模型来评估运动特征向量，以确定事件是否包括争斗。如果运动特征向量与关于争斗的预定模型匹配，则与运动目标有关的事件可以被认为是争斗。运动特征向量可以包括全局运动特征、局部运动特征、周围运动特征和历史特征中的至少一种。可以基于机器学习技术，例如神经网络算法，来确定与异常事件(例如，争斗)有关的预定模型。
该描述旨在是说明性的，而不是限制本申请的范围。许多替代、修改和变化对本领域普通技术人员将是显而易见的。本文描述的示例性实施方式的特征、结构、方法和其他特征可以以各种方式组合以获得另外的和/或替代的示例性实施方式。然而，这些变化和修改不会背离本申请的范围。例如，特征确定单元520可以进一步包括生理信号特征确定子单元。生理信号特征确定子单元可以确定与每个运动目标有关的生理信号特征。又例如，争斗检测器560可以进一步基于与每个运动目标有关的生理信号特征来确定运动目标是否参与争斗。
图6是根据本申请的一些实施例所示的用于检测运动对象的示例性流程600的流程图。在一些实施例中，图4所示的流程400的一个或以上操作可以在图7所示的争斗评估***700中实现。例如，图4所示的流程400可以以指令的形式存储在存储器780中，并由处理设备740(例如，图8所示的计算设备800的处理器810、如图9所示的移动设备900的GPU 930或CPU 940)调用和/或执行。
在602中，可以确定与每个运动目标有关的全局运动特征。操作602可以由全局特征确定单元522执行。全局运动特征也可以称为“第一运动特征”，如本申请中其他地方所述。全局运动特征可以与每个运动目标的整体的运动有关。与整体有关的全局运动特征可以包括每个运动目标的整体的运动轨迹、每个运动目标的整体的运动强度、运动目标的之间整体运动的运动一致性等。
在604中，可以确定与每个运动目标有关的局部运动特征。操作604可以由局部运动特征确定单元524执行。局部运动特征也可以称为第二运动特征，如本申请中其他地方所述。局部运动特征可以与每个运动目标的整体的局部的运动有关。与每个运动目标的整体的局部有关的局部运动特征可以包括每个运动目标的整体的局部的运动轨迹、每个运动目标的整体的局部的运动速度、运动目标的整体的局部的运动一致性等。
在606中，可以确定与一个或以上周围对象有关的周围运动特征。操作606可以由周围运动特征确定单元526执行。与一个或以上周围对象有关的周围运动特征可以与运动目标周围的运动对象运动有关，如图5所示。与一个或以上周围对象有关的周围运动特征可以包括与每个周围对象的整体有关的全局运动特征和与每个周围对象的整体的局部有关的局部运动特征。
在608中，可以获取与历史争斗事件有关的历史统计数据。操作608可以由历史特征确定子单元528执行。历史争斗事件可以相当于在视频场景中一天内运动目标在同一区域和/或时间参与的事件。事件检测器540可以基于与每个运动目标有关的全局运动特征、与每个运动目标有关的局部运动特征和/或与一个或以上周围对象有关的周围运动特征，由事件检测器540检测视频场景中的运动目标参与的事件。与历史争斗事件有关的历史统计数据可以包括历史争斗事件的历史频率、历史争斗事件的总数等。
在610，基于与每个运动目标有关的全局运动特征、与每个运动目标有关的局部运动特征、与一个或以上周围对象有关的周围运动特征和/或与历史统计数据有关的争斗历史事件，可以确定运动目标参与的事件是否包括争斗。操作608可以由争斗检测器560执行。如本申请中其他地方(例如，图5及其描述)所述，事件检测器540可以检测事件。在一些实施例中，争斗检测器560可以通过将与每个运动目标有关的全局运动特征与第一准则进行比较、将与每个运动目标有关的局部特征与第二个准则进行比较、将与一个或以上周围对象相关的周围运动特征与第三个准则进行比较，和/或将与历史争斗事件有关的历史统计数据与第四个准则进行比较，来确定运动目标之间发生的事件是否包括争斗。如果与每个运动目标有关的全局运动特征满足第一标准、与每个运动目标有关的局部运动特征满足第二标准、与一个或以上周围对象有关的周围运动特征满足第三标准，和/或与历史争斗事件有关的历史统计数据满足第四标准，争斗检测器560可以确定运动目标之间发生的事件包括争斗。如果与每个运动目标有关的全局运动特征不符合第一标准，与每个运动目标有关的局部运动特征不满足第二标准、与一个或以上周围对象有关的周围运动特征不满足如果满足第三标准，和/或与历史争斗事件有关的历史统计数据不满足第四标准，则争斗检测器560可以确定运动目标之间发生的事件不包括争斗。第一标准、第二标准、第三标准和/或第四标准可以由用户或根据争斗评估***700的默认设置来设置。
该描述旨在是说明性的，而不是限制本申请的范围。许多替代、修改和变化对本领域普通技术人员将是显而易见的。本文描述的示例性实施方式的特征、结构、方法和其他特征可以以各种方式组合以获得另外的和/或替代的示例性实施方式。然而，这些变化和修改不会背离本申请的范围。例如，可以同时执行操作602-604。
图7是根据本申请的一些实施例所示的示例性争斗评估***700的示意图。如图所示，争斗评估***700可以包括监控设备720、处理引擎740、存储器780、一个或以上终端760以及网络750。在一些实施例中，监控设备720、处理引擎740、存储器780和/或终端760可以经由无线连接(例如，网络750)、有线连接或其组合相互连接和/或通信。争斗评估***700中的组件之间的连接可以是可变的。仅作为示例，监控设备720可以通过网络750与处理引擎740连接，如图7所示。又例如，监控设备720可以直接与处理引擎740连接。再例如，存储器780可以通过网络750与处理引擎740连接，如图7所示，或者可以直接与处理引擎740连接。作为又一示例，终端760可以通过网络750与处理引擎740连接，如图7所示，或者可以直接与处理引擎740连接。
监控设备720可以安放在一定位置以监控感兴趣区域(AOI)或感兴趣对象。在一些实施例中，AOI可以在室内或室外。例如，AOI可以包括房间、监狱中的房间、购物中心、街道、公园、地铁站等。对象可以是生物或非生物。例如，对象可以包括人、车辆、动物、物体等，或其组合。
在一些实施例中，监控设备720可以包括摄像机、生理信号测量设备、可穿戴智能设备等，或其组合。如本文所使用的，摄像机可以指用于视觉记录的装置。例如，摄像机可以包括彩色摄像机、数码摄像机、摄像机、便携式摄像机、PC摄像机、网络摄像机、红外(IR)摄像机、低光摄像机、热敏摄像机、闭路电视(CCTV)摄像机、平移、倾斜、变焦(PTZ)相机、视频传感设备等或其组合。监控设备720可以包括安装在各个地方以监控感兴趣区域的一个或以上的摄像机。在一些实施例中，监控设备720可以包括相机嵌入式无人飞行器(UAV)。生理信号的测量设备被配置为获取感兴趣对象的生理信号。生理信号可以包括光电容积脉搏波(PPG)信号、心电图(ECG)信号、脑电图(EEG)信号、肌电图(EMG)信号等，或其组合。生理信号测量设备可以包括示波设备、便携式ECG监测器、便携式PPG监测器等，或其组合。可穿戴智能设备可穿戴设备包括眼镜、肩带、智能手表、脚链、大腿带、臂章、胸带、脖子、手指夹等，或其组合。提供监控设备720的上述示例是出于说明的目的，而不是意图限制本申请的范围。监控设备720可以是另一种形式，包括，例如，手指套、腕带、胸罩、内衣、胸带等，或其组合。
处理引擎740可以处理从监控设备720、存储器780和/或终端760获得的数据和/或信息。例如，处理引擎740可以基于监控设备720收集的数据来确定至少两个运动对象是否参与争斗。在一些实施例中，处理引擎740可以是单个服务器或服务器组。服务器组可以是集中式或分布式的。在一些实施例中，处理引擎740可以是本地的或远程的。例如，处理引擎740可以经由网络750访问来自监控设备120、存储器780和/或终端760的信息和/或数据。又例如，处理引擎740可以直接连接到监控设备120、终端760和/或存储器780以访问信息和/或数据。在一些实施例中，处理引擎740可以在云平台上实现。例如，云平台可以包括私有云、公共云、混合云、社区云、分布式云、云间、多云等，或其组合。在一些实施例中，处理引擎740可以由具有如图8所示的一个或以上组件的计算设备800来实现。
存储器780可以存储数据、指令和/或任何其他信息。在一些实施例中，存储器780可以存储从处理引擎740和终端760获得的数据。在一些实施例中，存储器780可以存储处理引擎740可以执行或用来执行本申请中描述的示例性方法的数据和/或指令。在一些实施例中，存储器780可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等或其任意组合。示例性大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDR SDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可以包括掩模型只读内存(MROM)、可编程只读内存(PROM)、可擦除可编程只读内存(EPROM)、电可擦除可编程只读内存(EEPROM)、光盘只读内存(CD-ROM)和数字多功能磁盘只读内存等。在一些实施例中，可以在本申请中其它地方描述的云平台上实现存储器780。
在一些实施例中，存储器780可以与网络750连接，以与争斗评估***700中的一个或以上其他组件(例如，处理引擎740、终端760等)通信。争斗评估***700中的一个或以上组件可以通过网络750访问存储在存储器780中的数据或指令。在一些实施例中，存储器780可以是处理引擎740的一部分。
终端760可以连接到监控设备720、处理引擎740和/或存储器780和/或与之通信。例如，终端760可以从处理引擎740获得处理后的图像。又例如，终端760可以获取经由监控设备720获取的图像数据，并将该图像数据发送至处理引擎740进行处理。在一些实施例中，终端760可以包括移动设备、平板电脑、笔记本电脑等，或其任意组合。例如，移动设备可以包括手机、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、笔记本电脑、平板电脑、台式机等，或其任何组合。在一些实施例中，终端760可以包括输入设备、输出设备等。输入设备可以包括字母数字和其他键，输入设备可以经由键盘、触摸屏(例如，具有触觉或触觉反馈)输入、语音输入、眼球追踪输入、大脑检测***或任何其他类似的输入机制。通过输入设备接收到的输入信息可以经由例如总线传输到处理引擎740，以进行进一步处理。其他类型的输入设备可以包括光标控制设备，例如鼠标、轨迹球或光标方向键等。输出设备可以包括显示器、扬声器、打印机等，或其组合。在一些实施例中，终端760可以是处理引擎740的一部分。
网络750可以包括可以促进争斗评估***700的信息和/或数据的交换的任何合适的网络。在一些实施例中，一个或以上争斗评估***700的组件(例如，监控设备720、处理引擎740、存储器780、终端760等)可以通过网络750与一个或以上争斗评估***700的其他组件传输信息和/或数据。例如，处理引擎740可以经由网络750从监控设备120获得图像数据。又例如，处理引擎740可以通过网络750从终端760获得用户指令。网络750可以是和/或包括公共网络(例如，Internet)、私有网络(例如，局部区域网络(LAN)、广域网网络(WAN))等)、有线网络(例如，以太网网络)、无线网络(例如，802.11网络、Wi-Fi网络等)、蜂窝网络(例如，长期演进(LTE)网络)、帧中继网络、虚拟私人网络(VPN)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任意组合。例如，网络750可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局部区域网络(WLAN)、大都市区网络(MAN)、公用交换电话网络(PSTN)、蓝牙TM网络、紫峰TM网络、近场通信(NFC)网络等，或其任意组合。在一些实施例中，网络750可以包括一个或以上网络接入点。例如，网络750可以包括有线和/或无线网络接入点，例如基站和/或互联网交换点，通过其可以将争斗评估***700的一个或以上组件连接到网络750以交换数据和/或信息。
该描述旨在是说明性的，而不是限制本申请的范围。许多替代、修改和变化对本领域普通技术人员将是显而易见的。本文描述的示例性实施方式的特征、结构、方法和其他特征可以以各种方式组合以获得另外的和/或替代的示例性实施方式。例如，存储器780可以是包括诸如公共云、私有云、社区和混合云等的云计算平台的数据存储器。但是，这些变化和修改不脱离本申请的范围。
图8是根据本申请的一些实施例所示的可以在其上实现处理引擎740的示例性计算设备800的示例性硬件和/或软件组件的示意图。如图8所示，计算设备800可以包括处理器810、存储器820、输入/输出(I/O)830和通信端口840。
处理器810可以执行计算机指令(例如，程序代码)，并根据本申请描述的技术执行处理引擎740的功能。该计算机指令可以包括例如例程、程序、对象、组件、数据结构、过程、模块和功能，其执行本文描述的特定功能。例如，处理器810可以处理从监控设备720、存储器780、终端760和/或争斗评估***700的任何其他组件获得图像数据。在一些实施例中，处理器810可以包括一个或以上硬件处理器，诸如微控制器、微处理器、精简指令集计算机(RISC)、特定应用集成电路(ASIC)、特定应用指令集处理器(ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高阶RISC机器(ARM)、可编程逻辑器件(PLD)、能够执行一个或以上功能的任何电路或处理器等，或其任何组合。
仅仅为了说明，在计算设备800中仅描述了一个处理器。然而，应该注意的是，本申请中的计算设备800还可以包括多个处理器，由此执行的运行和/或方法步骤如本申请中所描述的一个处理器也可以由多个处理器联合地或单独地执行。例如，如果在本申请中计算设备800的处理器执行操作A和操作B两者，则应该理解，操作A和操作B也可以由计算设备800中的两个或以上不同的处理器共同地或单独地执行(例如，第一处理器执行操作A并且第二处理器执行操作B，或者第一处理器和第二处理器共同执行操作A和B)。
存储器820可以存储从监控设备720、存储器780、终端760和/或争斗评估***700的任何其他组件获得的数据/信息。在一些实施例中，存储器820可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等或其任意组合。例如，大容量存储器可以包括磁盘、光盘、固态磁盘等。可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。易失性读写内存可以包括随机存取内存(RAM)。RAM可以包括动态RAM(DRAM)、双倍速率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容RAM(Z-RAM)等。ROM可以包括掩码ROM(MROM)、可编程ROM(PROM)、可擦可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字多功能磁盘ROM等。在一些实施例中，存储器320可以存储一个或以上程序和/或指令以执行本申请中描述的示例性方法。例如，存储器820可以存储用于处理引擎740的程序，用于确定目标翻转角计划。
I/O 830可以输入和/或输出信号、数据、信息等。在一些实施例中，I/O 830可以实现与处理引擎740的用户交互。在一些实施例中，I/O 830可以包括输入设备和输出设备。示例性的输入设备可以包括键盘、鼠标、触控屏幕、麦克风等，或其任何组合。示例性的输出设备可以包括显示设备、扬声器、打印机、投影机等，或其任何组合。显示设备的示例可以包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏屏幕等或其组合。
通信端口840可以连接到网络(例如，网络720)以促进数据通信。通信端口840可以在处理引擎740与监控设备720、存储器780和/或终端760之间建立连接。该连接可以是有线连接、无线连接、可以实现数据传输和/或接收的任何其它通信连接和/或这些连接的组合。有线连接可以包括例如电缆、光缆、电话线等，或其组合。无线连接可以包括例如蓝牙链接、Wi-Fi链接、WiMax链接、WLAN链接、紫蜂链接、移动网络链接(例如3G、4G、5G等)等或其组合。在一些实施例中，通信端口840可以是和/或包括标准化的通信端口，诸如RS232、RS485等。在一些实施例中，通信端口840可以是专门设计的通信端口。例如，通信端口840可以根据医学数字成像和通信(DICOM)协议来设计。
图9是根据本申请的一些实施例所示的示例性移动设备900的示例性硬件和/或软件组件的示意图，在其上可以实现终端760的功能。如图9所示，移动设备900可以包括通信平台910、显示器920、图形处理单元(GPU)930、中央处理单元(CPU)940、I/O 950、内存960以及存储器970。在一些实施例中，任意其它合适的部件，包括但不限于***总线或控制器(未示出)，也可以被包括于移动设备900中。在一些实施例中，移动操作***980(例如，iOSTM、AndroidTM、Windows PhoneTM等)和一个或以上应用程序990可从存储器990下载至内存960以及由CPU 940执行。应用程序980可以包括浏览器或任何其它合适的移动应用程序，用于接收及呈现与图像处理相关的信息或处理引擎740中的其它信息。与信息流的用户交互可以通过I/O 950实现，并通过网络750提供给处理引擎740和/或争斗评估***700的其他组件。
为了实施本申请描述的各种模块、单元及其功能，计算机硬件平台可用作本文中描述的一个或以上组件的硬件平台。具有用户接口元素的计算机可用于实施个人计算机(PC)或任何其它类型的工作站或终端设备。若计算机被适当的程序化，计算机亦可用作服务器。
同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件实施、可以完全由软件(包括固件、常驻软件、微代码等)实施、也可以由硬件和软件组合实施。以上硬件或软件均可被称为“单元”、“模块”或“***”。此外，本申请的各方面可以采取体现在一个或以上计算机可读介质中的计算机程序产品的形式，其中计算机可读程序代码包含在其中。
计算机可读信号介质可以包含一个内含有计算机程序代码的传播数据信号，例如在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行***、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF等，或任何上述介质的组合。
本申请各部分操作所需的计算机程序代码可以用任意一种或以上程序设计语言编写，包括面向对象程序设计语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C、VB.NET、Python等，常规程序化程序设计语言如C程序设计语言、Visual Basic、Fortran2103、Perl、COBOL2102、PHP、ABAP，动态程序设计语言如Python、Ruby和Groovy，或其它程序设计语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算周围中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其它名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，尽管上述各种组件的实现可以体现在硬件设备中，但也可以实现为纯软件解决方案，例如，在现有服务器或移动设备上的安装。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或以上发明实施例的理解，前文对本申请的实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。相反，发明的主体应具备比上述单一实施例更少的特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
本文中提及的所有专利、专利申请、专利申请公布和其它材料(如论文、书籍、说明书、出版物、记录、事物和/或类似的东西)均在此通过引用的方式全部并入本文以达到所有目的，与上述文件相关的任何起诉文档记录、与本文件不一致或冲突的任何上述文件或对迟早与本文件相关的权利要求书的广泛范畴有限定作用的任何上述文件除外。举例来说，如果在描述、定义和/或与任何所结合的材料相关联的术语的使用和与本文件相关联的术语之间存在任何不一致或冲突，则描述、定义和/或在本文件中使用的术语以本文件为准。
最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其它的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (20)

1.一种***，包括：
计算机可读存储介质，存储用于检测异常场景的可执行指令；以及
与所述计算机可读存储介质通信的至少一个处理器，当执行所述可执行指令时，所述至少一个处理器用于：
获得与视频场景有关的数据；
基于所述数据识别所述视频场景中的至少两个运动对象；
基于所述数据确定与所述至少两个运动对象有关的第一运动特征；
基于所述数据确定与所述至少两个运动对象中的每个运动对象的至少一局部有关的第二运动特征；以及
基于所述第一运动特征和所述第二运动特征确定所述至少两个运动对象是否参与争斗。
2.根据权利要求1所述的***，其特征在于，所述至少一个处理器进一步被用于：
追踪所述视频场景中所述至少两个运动对象的运动。
3.根据权利要求2所述的***，其特征在于，为了追踪所述视频场景中所述至少两个运动对象的运动，所述至少一个处理器进一步被用于：
追踪所述视频场景中的所述至少两个运动对象中的每个运动对象的整体运动；以及
追踪所述视频场景中所述至少两个运动对象中的每个运动对象的至少一局部的运动。
4.根据权利要求1所述的***，其特征在于，与所述至少两个运动对象有关的所述第一运动特征包括以下至少之一：
所述至少两个运动对象的运动轨迹，
所述至少两个运动对象的运动强度，或
所述至少两个运动对象的运动一致性。
5.根据权利要求1所述的***，其特征在于，与所述至少两个运动对象中的每个运动对象的至少一局部有关的所述第二运动特征包括以下至少之一：
所述至少两个运动对象中的每个运动对象的所述至少一局部的运动轨迹，
所述至少两个运动对象中的每个运动对象的所述至少一局部的运动一致性，或者
所述至少两个运动对象中的每个运动对象的所述至少一局部的运动速度。
6.根据权利要求1所述的***，所述至少一个处理器进一步被用于：
在所述视频场景中识别至少一个周围对象；
确定与所述视频场景中的所述至少一个周围对象有关的第三运动特征；以及
基于所述第一运动特征、所述第二运动特征和所述第三运动特征，确定所述至少两个运动对象是否参与所述争斗。
7.根据权利要求1所述的***，其特征在于，基于所述第一运动特征和所述第二运动特征来确定所述至少两个运动对象是否参与所述争斗，所述至少一个处理器进一步被用于：
比较所述第一运动特征和第一标准；
比较所述第二运动特征和第二标准；以及
基于所述第一运动特征与所述第一标准的所述比较和所述第二运动特征与所述第二标准的所述比较，确定所述至少两个运动对象是否参与所述争斗。
8.根据权利要求1所述的***，所述至少一个处理器进一步被用于：
基于与所述至少两个运动对象有关的生理信号或所述视频场景中的声音信号中的至少一个，确定所述至少两个运动对象是否参与所述争斗。
9.一种在计算设备上实现的用于异常场景检测方法，所述计算设备具有至少一个处理器和至少一个计算机可读存储介质，所述方法包括：
获得与视频场景有关的数据；
基于所述数据识别所述视频场景中的至少两个运动对象；
基于所述数据确定与所述至少两个运动对象有关的第一运动特征；
基于所述数据确定与所述至少两个运动对象中的每个运动对象的至少一局部有关的第二运动特征；以及
基于所述第一运动特征和所述第二运动特征确定所述至少两个运动对象是否参与争斗。
10.根据权利要求9所述的方法，进一步包括：
追踪所述视频场景中至少两个运动对象的运动。
11.根据权利要求10所述的方法，其特征在于，追踪所述视频场景中至少两个运动对象的运动进一步包括：
追踪所述视频场景中至少两个的运动对象中的每个运动对象的整体运动；以及
追踪所述视频场景中所述至少两个运动对象中的每个运动对象的至少一局部的运动。
12.根据权利要求9所述的方法，其特征在于，与所述至少两个运动对象有关的所述第一运动特征包括以下至少之一：
所述至少两个运动对象的运动轨迹，
所述至少两个运动对象的运动强度，或
所述至少两个运动对象的运动一致性。
13.根据权利要求9所述的方法，其特征在于，与所述至少两个运动对象中的每个运动对象的至少一局部有关的所述第二运动特征包括以下至少之一：
所述至少两个运动对象中的每个运动对象的所述至少一局部的运动轨迹，
所述至少两个运动对象中的每个运动对象的所述至少一局部的运动一致性，或者
所述至少两个运动对象中的每个运动对象的所述至少一局部的运动速度。
14.根据权利要求9所述的方法，进一步包括：
在所述视频场景中识别至少一个周围对象；
确定与所述视频场景中的所述至少一个周围对象有关的第三运动特征；以及
基于所述第一运动特征、所述第二运动特征和所述第三运动特征，确定所述至少两个运动对象是否参与所述争斗。
15.根据权利要求9所述的方法，其特征在于，基于所述第一运动特征和所述第二运动特征确定所述至少两个运动对象是否参与所述争斗包括：
比较所述第一运动特征和第一标准；
比较所述第二运动特征和第二标准；以及
基于所述第一运动特征与所述第一标准的所述比较和所述第二运动特征与所述第二标准的所述比较，确定所述至少两个运动对象是否参与所述争斗。
16.根据权利要求9所述的方法，进一步包括：
基于与所述至少两个运动对象有关的生理信号或所述视频场景中的声音信号中的至少一个，确定所述至少两个运动对象是否参与所述争斗。
17.一种非暂时性计算机可读介质，包括：
由至少一个处理器执行使所述至少一个处理器实现一种方法的指令，包括：
获得与视频场景有关的数据；
基于所述数据识别所述视频场景中的至少两个运动对象；
基于所述数据确定与所述至少两个运动对象有关的第一运动特征；
基于所述数据确定与所述至少两个运动对象中的每个运动对象的至少一局部有关的第二运动特征；以及
基于所述第一运动特征和所述第二运动特征确定所述至少两个运动对象是否参与争斗。
18.根据权利要求12所述的非暂时性计算机可读介质，其特征在于，与所述至少两个运动对象有关的所述第一运动特征包括以下至少之一：
所述至少两个运动对象的运动轨迹，
所述至少两个运动对象的运动强度，或
所述至少两个运动对象的运动一致性。
19.根据权利要求12所述的非暂时性计算机可读介质，其特征在于，与所述至少两个运动对象中的每个运动对象的至少一局部有关的所述第二运动特征包括以下至少之一：
所述至少两个运动对象中的每个运动对象的所述至少一局部的运动轨迹，
所述至少两个运动对象中的每个运动对象的所述至少一局部的运动一致性或者
所述至少两个运动对象中的每个运动对象的所述至少一局部的运动速度。
20.根据权利要求12所述的所述非暂时性计算机可读介质，其进一步包括：
在所述视频场景中识别至少一个周围对象；
确定与所述视频场景中的所述至少一个周围对象有关的第三运动特征；以及
基于所述第一运动特征、所述第二运动特征和所述第三运动特征，确定所述至少两个运动对象是否参与所述争斗。
CN201980011336.9A 2018-04-13 2019-04-12 异常场景检测***和方法 Active CN111699512B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862657033P 2018-04-13 2018-04-13
US62/657,033 2018-04-13
PCT/CN2019/082474 WO2019196934A1 (en) 2018-04-13 2019-04-12 System and method for abnormal scene detection

Publications (2)

Publication Number Publication Date
CN111699512A true CN111699512A (zh) 2020-09-22
CN111699512B CN111699512B (zh) 2023-11-03

Family

ID=68162758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980011336.9A Active CN111699512B (zh) 2018-04-13 2019-04-12 异常场景检测***和方法

Country Status (3)

Country Link
US (1) US11842542B2 (zh)
CN (1) CN111699512B (zh)
WO (1) WO2019196934A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765399A (zh) * 2020-12-25 2021-05-07 联想(北京)有限公司 一种视频数据处理方法及电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275921A (zh) * 2019-08-19 2020-06-12 深圳市鸿合创新信息技术有限责任公司 一种行为监控方法及装置、电子设备
CN111242008B (zh) * 2020-01-10 2024-04-12 河南讯飞智元信息科技有限公司 打架事件检测方法、相关设备及可读存储介质
US11676368B2 (en) 2020-06-30 2023-06-13 Optum Services (Ireland) Limited Identifying anomalous activity from thermal images
CN113469080B (zh) * 2021-07-08 2024-07-12 中国科学院自动化研究所 一种个体、群体、场景交互协同感知方法、***及设备
CN114640807B (zh) * 2022-03-15 2024-01-16 京东科技信息技术有限公司 基于视频的对象统计方法、装置、电子设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070121999A1 (en) * 2005-11-28 2007-05-31 Honeywell International Inc. Detection of abnormal crowd behavior
CA2650357A1 (en) * 2008-01-21 2009-07-21 Thales Nederland B.V. Multithreat safety and security system and specification method thereof
CN103150738A (zh) * 2013-02-02 2013-06-12 南京理工大学 分布式多传感器运动目标的检测方法
CN103198296A (zh) * 2013-03-07 2013-07-10 中国科学技术大学 一种基于贝叶斯惊奇度计算的视频异常行为检测方法及装置
US20140055610A1 (en) * 2012-08-27 2014-02-27 Korea University Research And Business Foundation Indoor surveillance system and indoor surveillance method
CN104137146A (zh) * 2011-12-29 2014-11-05 派尔高公司 用于利用前景对象分割的噪声过滤的视频编码的方法和***
JP2015138427A (ja) * 2014-01-23 2015-07-30 シャープ株式会社 監視装置
CN105785411A (zh) * 2016-02-24 2016-07-20 重庆邮电大学 一种基于区域划分的异常轨迹检测方法
CN106845325A (zh) * 2015-12-04 2017-06-13 杭州海康威视数字技术股份有限公司 一种信息检测方法及装置
CN106910152A (zh) * 2017-02-28 2017-06-30 成都瑞小博科技有限公司 一种基于wifi探测的银行安保可疑人员智能识别***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7355508B2 (en) * 2004-05-21 2008-04-08 International Electronic Machines Corp. System and method for monitoring an area
CN102098492A (zh) * 2009-12-11 2011-06-15 上海弘视通信技术有限公司 音视频联合分析的打架斗殴检测***及其检测方法
WO2012029518A1 (ja) * 2010-08-31 2012-03-08 オムロン株式会社 挙動解析装置
US9432639B2 (en) * 2010-11-19 2016-08-30 Honeywell International Inc. Security video detection of personal distress and gesture commands
CN102750709B (zh) * 2012-05-31 2015-12-09 中国科学院自动化研究所 利用视频检测打架行为的方法和装置
KR101644443B1 (ko) * 2014-02-05 2016-08-01 김세영 시공적 상황데이터를 이용한 경고 방법 및 시스템
US11043097B1 (en) * 2014-10-01 2021-06-22 Securus Technologies, Llc Activity and aggression detection and monitoring in a controlled-environment facility
CN104516295A (zh) * 2014-12-15 2015-04-15 成都凌感科技有限公司 一种自动识别人体恶性暴恐动作并发射防爆物质的装置
US10614310B2 (en) * 2018-03-22 2020-04-07 Viisights Solutions Ltd. Behavior recognition

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070121999A1 (en) * 2005-11-28 2007-05-31 Honeywell International Inc. Detection of abnormal crowd behavior
CA2650357A1 (en) * 2008-01-21 2009-07-21 Thales Nederland B.V. Multithreat safety and security system and specification method thereof
EP2081163A1 (en) * 2008-01-21 2009-07-22 Thales Nederland B.V. Multithreat safety and security system and specification method thereof
CN104137146A (zh) * 2011-12-29 2014-11-05 派尔高公司 用于利用前景对象分割的噪声过滤的视频编码的方法和***
US20140055610A1 (en) * 2012-08-27 2014-02-27 Korea University Research And Business Foundation Indoor surveillance system and indoor surveillance method
CN103150738A (zh) * 2013-02-02 2013-06-12 南京理工大学 分布式多传感器运动目标的检测方法
CN103198296A (zh) * 2013-03-07 2013-07-10 中国科学技术大学 一种基于贝叶斯惊奇度计算的视频异常行为检测方法及装置
JP2015138427A (ja) * 2014-01-23 2015-07-30 シャープ株式会社 監視装置
CN106845325A (zh) * 2015-12-04 2017-06-13 杭州海康威视数字技术股份有限公司 一种信息检测方法及装置
CN105785411A (zh) * 2016-02-24 2016-07-20 重庆邮电大学 一种基于区域划分的异常轨迹检测方法
CN106910152A (zh) * 2017-02-28 2017-06-30 成都瑞小博科技有限公司 一种基于wifi探测的银行安保可疑人员智能识别***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANKUR DATTA等: "Person-on-Person Violence Detection in Video Data" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765399A (zh) * 2020-12-25 2021-05-07 联想(北京)有限公司 一种视频数据处理方法及电子设备

Also Published As

Publication number Publication date
US11842542B2 (en) 2023-12-12
CN111699512B (zh) 2023-11-03
WO2019196934A1 (en) 2019-10-17
US20210019533A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
CN111699512B (zh) 异常场景检测***和方法
JP7229174B2 (ja) 人識別システム及び方法
Espinosa et al. A vision-based approach for fall detection using multiple cameras and convolutional neural networks: A case study using the UP-Fall detection dataset
US20190258866A1 (en) Human presence detection in edge devices
Gowsikhaa et al. Suspicious Human Activity Detection from Surveillance Videos.
Wang et al. Blink detection using Adaboost and contour circle for fatigue recognition
Espinosa et al. Application of convolutional neural networks for fall detection using multiple cameras
CN112602087A (zh) 人识别***和方法
CN114469076A (zh) 一种融合身份特征的独居老人跌倒识别方法及***
Zhao et al. Deep convolutional neural network for drowsy student state detection
Li et al. Smartphone‐based fatigue detection system using progressive locating method
Tao et al. 3D convolutional neural network for home monitoring using low resolution thermal-sensor array
Tao et al. Multi-feature fusion prediction of fatigue driving based on improved optical flow algorithm
Yu et al. Drowsydet: a mobile application for real-time driver drowsiness detection
Kasturi et al. Classification of human fall in top Viewed kinect depth images using binary support vector machine
Chen A video surveillance system designed to detect multiple falls
Arivazhagan Versatile loitering detection based on non-verbal cues using dense trajectory descriptors
Djeraba et al. Multi-modal user interactions in controlled environments
Borza et al. Real-time micro-expression detection from high speed cameras
CN109711260B (zh) 疲劳状态的检测方法、终端设备及介质
Huang et al. Design of fatigue driving behavior detection based on circle hough transform
Gao Abnormal behavior detection and warning based on deep intelligent video analysis for geriatric patients
Ankitha et al. Enhanced Driver’s Drowsiness Detection System using CNN model
Togo et al. UAV manipulation by hand gesture recognition
Chiranjeevi et al. Surveillance Based Suicide Detection System Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant