CN1666232B - 使用概率分布函数来模拟行为的方法和装置 - Google Patents

使用概率分布函数来模拟行为的方法和装置 Download PDF

Info

Publication number
CN1666232B
CN1666232B CN038150859A CN03815085A CN1666232B CN 1666232 B CN1666232 B CN 1666232B CN 038150859 A CN038150859 A CN 038150859A CN 03815085 A CN03815085 A CN 03815085A CN 1666232 B CN1666232 B CN 1666232B
Authority
CN
China
Prior art keywords
behavior
new
patterns
images
repetition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN038150859A
Other languages
English (en)
Other versions
CN1666232A (zh
Inventor
M·特拉科维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1666232A publication Critical patent/CN1666232A/zh
Application granted granted Critical
Publication of CN1666232B publication Critical patent/CN1666232B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Emergency Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Psychology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

公开了用于模拟人类或其它动画对象的行为模式以及检测对重复行为模式的破坏的方法和装置。随着时间观察一个或多个人的行为，并且在多维空间记录了所述行为的特征。随时间的推移，多维数据提供了对人类行为模式的指示.就时间、地域和行为而言是重复的行为，诸如睡觉、吃饭，在多维数据中将表现出高斯型曲线分布或集群。可以使用已知的高斯型曲线或集群技术分析概率分布函数以识别重复行为模式及其特征，诸如平均值或方差。可以检测出重复行为模式的偏差，并且如果适当可以触发警报。

Description

使用概率分布函数来模拟行为的方法和装置
本发明涉及计算机视觉***，尤其涉及通过观察行为模式来识别事件的行为模拟和检测的方法和***.
计算机视觉技术正广泛用于自动检测或区分图像中的物体或事件。例如，行为模拟技术通常应用于识别人类行为模式.通常，行为分析和模拟***首先获知行为模式，然后检测所述行为模式的偏差。一般来说，传统行为分析技术关注的是异常事件的检测。
行为模拟中大多数现有工作关注的是将轨迹模拟成概率分布或隐马尔可夫模型(HMM).一旦轨迹被模拟了，目标就是预测物体的轨迹以及检测“异常”轨迹。例如，轨迹分析技术已经应用于观察在特定区域中行走的人的轨迹，并且之后如果轨迹显示有人进入受限制的区域内，则产生警报.
虽然传统轨迹分析技术在许多安全应用方面表现良好，但是这种轨迹分析技术对于其它应用(例如家庭监测)的有效性和价值值得怀疑。尤其是，当行为模拟***正在监测一个或多个特定人的行为时，例如远程监测处于家庭环境的老人时，最相关的信息是这个人的当前位置或行为，而不是这个人如何到达他或她的当前位置或行为。
因此需要这样的行为模拟和检测的方法和***，该方法和***通过观察行为模式以及检测对重复行为模式的破坏来识别事件。
通常所公开的方法和装置在图像数据中自动获知和识别行为模式。根据本发明的一个方面，提供了一种方法和装置，用于模拟人类或其它动画对象的行为模式以及检测对重复行为模式的破坏.本发明持续观察一个或多个人的行为并将行为特征记录在多维空间中。例如，可以在多维空间中获得包括位置(例如，垂直和水平位置)、时间、物体姿势和物体运动级别的用户行为.随时间的推移，这些多维数据提供对人类行为模式的指示.就时间、地点和行为而言是重复的行为，例如吃、睡，将在多维数据中表现出高斯型曲线分布或集群.
获知算法应用到多维数据中以识别重复行为模式.在一个典型实施例中，从多维特征数据计算概率密度函数(pdf)以模拟人类行为。可以使用任何用于PDF分析的方法(例如高斯型曲线或集群技术)分析概率分布函数，以识别重复行为模式及其特征.通常重复行为模式将在多维特征数据中表现为高斯型曲线分布或集群，每个高斯型曲线分布或集群用平均值和方差来表征。
概率分布函数可以成为不同的集群，并且集群可以与行为模式相关联。通常，集群不需要被相应的动作(诸如，吃)标识。知道集群与某些特定行为相关联就足够了。
根据本发明的另一个方面，可以检测出重复行为模式的偏差，并且如果适当可以触发警报.例如，当重复行为模式表达为高斯型曲线分布或集群时，方差提供一个阈值用于确定当前行为是否应当被分类为重复行为模式的偏差。通常，异常行为可以表明某些类型的健康问题或紧急情况。因此，可以选择性地建立规则，以在重复行为模式的偏差满足一个或多个预定义条件时产生警告。
通过参考下面的详细描述和附图，将会更充分地理解本发明以及本发明的特征和优点.
图1示出了根据本发明的优选实施例的示范性视频监测***；
图2示出了根据本发明在多维空间中观察的人类行为曲线；
图3的流程表描述了图1的特征提取过程的典型实施；
图4的流程表描述了图1的PDF产生和分析过程的典型实施；和
图5的流程表描述了图1的事件检测过程的典型实施。
图1示出了根据本发明的典型视频监测***120。视频监测***120模拟人类或其它动画对象的行为模式并且检测对重复行为模式的破坏。例如，视频监测***120可以监测被观察的人的吃和睡的模式。然后，可以检测出这些行为模式的偏差，例如睡了异常的时间间隔或在异常的时间睡，或吃了异常的量或在不规则的时间间隔吃，从而如果适当就触发警报.
在如下所述的一个典型实施例中，本发明持续观察了一个或多个人的行为并将行为特征记录在多维空间中.例如，可以在五维空间中获得用户行为，这五维包括位置的两维(竖直和水平)、时间、物体姿势以及物体运动水平.随着时间流逝，多维数据提供了人体行为模式的指示。就时间、地点和行为而言是重复的行为，例如吃和睡，将在多维数据中作为集群出现。
之后，将获知算法应用到该多维数据以识别所述重复行为模式。例如，可以计算概率密度函数(pdf)以模拟人的行为。可以使用高斯型曲线或集群技术分析概率分布函数以识别重复行为模式及其特征。
计算机可读程序代码手段可以与诸如视频处理***120的计算机***相结合操作，以进行执行此处所讨论的方法的全部或部分步骤或制作此处所讨论的装置.计算机可读媒质可以是可记录媒质(通过媒质界面135访问的例如软盘、硬盘、诸如DVD110的压缩磁盘，或者存储卡)或可以是传输媒质(例如包括光纤光学***、环球网、电缆或使用时分多路访问、码分多路访问或其它射频信道的无线信道).可以使用任何已知的或开发出的适用于计算机***的能够存储信息的媒质。计算机可读代码手段是任何允许计算机读取指令和数据的机制，例如磁介质的磁性变化或压缩磁盘表面(例如DVD 10)的高度变化。
存储器145配置处理器130以执行此处公开的方法、步骤和功能。存储器145可以是分布式的或局部的，处理器130可以是分布式或单个的。存储器145可以实现为电、磁或光存储器、或它们的任意组合、或者其它类型的存储器件.术语“存储器”应当被广泛地解释为足以包含任何能够通过处理器130访问的可寻址空间中的从地址读出或写入地址的信息。根据该定义，网络(例如通过网络接口140访问的网络115)上的信息也在视频处理***120的存储器145之内，这是因为处理器130能够从该网络获取信息.应当注意，视频处理***120的全部或部分可以制作在集成电路或其它类似的设备(例如，可编程逻辑电路)中.
既然已经描述了***，下面将描述能够提供全局或局部象素相关性(pixel dependency)和增加训练(incremental training)的概率模型。
图2示出了在多维空间中观察到的人类行为的曲线200.在图2的示范性的实施例中，根据时间(天)、物体姿势和位置(在家)监测人类行为。示范性的时间(天)维度是连续的，而示范性的物体姿势(例如坐、站以及躺下)和位置维度是离散的。此外，为了说明的目的，示范性的位置维度已经从家中的自然水平和竖直坐标变换到对家中的特定房间(厨房和卧室)的指示。注意，示范性行为曲线200没有表示出物体运动水平。
为了说明的目的，图2中所示的数据已经被过滤以除去随机行为以及除去不够成行为模式的行为。图2中剩余的数据包括三个集群210、220和230，每一个集群与一种行为模式相关联。集群210表示人大约在中午、在厨房里、处于坐的位置，这表示人在吃午餐。集群220表示人大约下午6点、在厨房里、处于坐的位置，这表示人在吃晚餐.集群230表示人在从午夜到早上7点的时间段里、在卧室里、处于躺下的位置，这表示人在睡觉。
图3的流程图描述了示例性特征提取过程300，该过程用于观察人的行为以产生图2所示的示例性行为曲线200.首先，特征提取过程300在步骤310获得一帧图像数据.之后，特征提取过程300在步骤320期间从该帧提取人的位置和姿势，例如采用公知的轨迹和姿势分析技术(诸如S.Iwasawa等在“Real-Time Human Posture EstimationUsing Monocular Thermal Images”，Proc.of 3rd Int’1 Conf.onAutomatic Face and Gesture Recognition，492-497，Nara，Japan(April 14-16，1998)).
可以选择性地在步骤340获得物体运动水平，例如使用光流、运动历史或其它运动评估技术。J.L.Barron等在“Performance ofOptical Flow Techniques，”In’1 J.of ComputerVision，12(1)：43-77(1994)描述了适合的光流评估技术。物体运动的水平通常是当保持在相同的物理位置附近时人产生的运动量.
提取的位置、物体姿势和物体运动水平特征数据可以在步骤350期间被标记时间，以便这些数据能被画成时间(天)的函数，如图2所示。之后，程序控制终止.
图4的流程图描述了示例性PDF产生和分析过程400，该过程处理通过特征提取过程300(图3)获得的特征数据，并产生和分析该典型实施例中的概率分布函数以识别重复行为模式及其特征.图4所示，PDF产生和分析过程400首先在步骤410期间在理想多维空间中获得由特征提取过程300提取的特征数据。
之后，在步骤420期间用概率分布函数拟和提取的特征数据.对于用混合高斯型曲线拟和提取的特征数据的适用技术的讨论，见例如H.G.C.Traven，“A Neural Network Approach to StatisticalPattern Classification by‘Semiparametric’Estimation ofProbability Density Functions，”IEEE Trans.On NeuralNetworks，2，366-377(1991).之后，程序控制终止。
如前所示，重复行为模式在多维数据中将表现为高斯型曲线分布或集群，每一个高斯型曲线分布或集群以平均值和方差为特征。在该示例性实施例中，概率分布函数是混合高斯型曲线，形式如下：
f ( x ) = Σ j = 1 n exp ( - 1 2 ( x - μ j ) T C j - 1 ( x - μ j ) ) 公式1
其中x表示多维空间中的点，n表示高斯型曲线数(未知)，μj和Cj分别表示第j个高斯型曲线(未知)的平均值和协方差。
图5的流程图描述了检测重复行为模式的偏差的示例性事件检测过程500。例如，当重复行为模式表现为高斯型曲线分布或集群时，高斯型曲线分布或集群的方差提供阈值，以确定当前行为应当被分类为重复行为模式的部分还是重复行为模式的偏差。示例性事件检测过程500采用多个规则以在被检测到的行为是重复行为模式的偏差时产生警报。
如图5所示，事件检测过程500首先在步骤510中观察图像数据。之后，事件检测过程500在步骤520中提取多个特征，例如位置、物体姿势和物体运动水平特征数据。然后在步骤540期间将提取的特征数据与由PDF产生和分析过程400产生的概率分布函数相比较。
在步骤550期间执行测试以确定提取的特征数据是否超出任何高斯型曲线分布或集群的方差一个以上的预定义阈值。注意，该阈值通常基于各个高斯型曲线分布或集群的方差(例如，方差加容许误差)。如果在步骤550期间确定提取的特征数据没有超出任何高斯型曲线分布或集群的方差一个以上的预定义阈值，则程序控制回到步骤510以监测人类行为的进一步偏差。
然而，如果在步骤550期间确定提取的特征数据超出任何高斯型曲线分布或集群的方差一个以上的预定义阈值，则观察到的行为有可能是重复数据模式的偏差.例如，可以使用如下分别结合方程式2和3讨论的Kullback-Leibler距离技术或交集(intersection)，过滤出表示随机行为的数据。
在步骤560中，观察到的行为被标记为重复数据模式的偏差。此外，在步骤570期间估计观察到的行为以确定其是否破坏已确立的多个示例性预定义规则，从而在某行为被检测到是重复行为模式的偏差时产生警报。如果在步骤570期间确定了示例性的一个或多个预定义规则被破坏，则在程序控制终止之前在步骤580中产生警报。
注意，上述的示例性事件检测过程500将表征行为模式的概率分布函数(方程式1)分解成n个单高斯型曲线，并且新检测到的行为b(x)分别与这些高斯型曲线中的每个进行比较。通常，当检测到新行为时，事件检测过程500测量新行为距离方程式1的概率分布函数f(x)有多远，这可以通过多种方法完成。一种方法是计算正常行为f(x)和新检测到的行为b(x)之间的重叠。这可以使用例如Kullback-Leibler距离完成：
d KL ( f , b ) = ∫ f ( x ) log f ( x ) b ( x ) dx - - - ( 2 )
其中积分在整个空间进行。方程式(2)仅仅是图5的示例性事件检测过程500采用的技术的简洁表达式。
可以使用的另一个距离函数是简单的交集，定义为：
dint(f，b)＝∫min(f(x)，b(x))dx.(3)
注意，如果0≤dint≤1.如果b≡f，则dint＝1，且如果b∩f＝0，dint＝0。如果b是均匀分布的随机信号，则dint≈0.
在进一步的变化中，可以通过集聚数据(效果与上面结合图4讨论的拟和高斯型曲线混合的技术相同)识别行为模式。区别在于不估计解析函数，但是确定将数据集聚成集群的最优方式。这些集群可以不用解析形式而只用关系式形式表示(即，我们会说某组点属于一个集群，而某些另外组的点属于另一集群)。无论何时检测到新行为，我们将会检查其是否适合我们的集群(平常行为)中的一些，或者其应当是不同的集群(异常行为)。然后，集群尺寸将确定什么是“正常”行为(尺寸越大，行为越正常).可以使用任何集群技术.例如，在Richard Duda等的“Pattern Classification，”Ch.10，Willey(2001)中描述了一些更流行的集群技术。
可以理解，此处所示出和描述的实施例和变化仅仅是为了说明本发明的原理，本领域的技术人员不脱离本发明的范围和实质可以作出各种修改。

Claims (24)

1.一种模拟动画对象的行为的方法，所述方法包括步骤：
获得多个图像；
从所述多个图像中提取多个特征；以及
在多维空间中分析所述多个提取特征以提供概率分布函数集，所述概率分布函数集对应于与所述对象相关联的重复行为模式集，其中每个重复行为模式都以平均值和方差为特征。
2.根据权利要求1的方法，还包括步骤：将所述提取的特征数据与概率分布函数进行拟和以识别至少一个具有平均值和方差的高斯型曲线。
3.根据权利要求2的方法，其中高斯型曲线对应于行为模式。
4.根据权利要求2的方法，其中所述提取的特征数据包括时间的指示。
5.根据权利要求2的方法，其中所述提取的特征数据包括位置的指示。
6.根据权利要求2的方法，其中所述提取的特征数据包括行为的指示。
7.根据权利要求5的方法，其中所述提取的特征数据包括物体姿势的指示。
8.根据权利要求1的方法，其中所述多维空间包括5维空间。
9.根据权利要求1的方法，其中所述多个提取的特征包括垂直位置、水平位置、时间、物体姿势和物体运动级别。
10.根据权利要求1的方法，还包含步骤：
获得新行为的新图像；
从所述新图像中提取多个新特征；以及
如果所提取的新特征数据超出所述重复行为模式集中的任何一个超过预定阈值，则确定所述新行为是对所述重复行为模式集中的任何一个的偏离。
11.一种模拟动画对象的行为的方法，所述方法包括步骤：
获得多个图像；
从所述多个图像中提取多个特征；以及
在多维空间中集聚所述提取的特征以识别重复行为模式集，其中每个重复行为模式都以平均值和方差为特征。
12.根据权利要求11的方法，其中所述集聚步骤还包含步骤：
计算每个集群的平均值和方差。
13.根据权利要求11的方法，其中数据集群对应于行为模式。
14.根据权利要求11的方法，其中所述多维空间包括5维空间
15.根据权利要求11的方法，其中所述多个提取的特征包括垂直位置、水平位置、时间、物体姿势和物体运动级别。
16.根据权利要求11的方法，还包含步骤：
获得新行为的新图像；
从所述新图像中提取多个新特征；以及
如果所提取的新特征数据超出所述重复行为模式集中的任何一个超过预定阈值，则确定所述新行为是对所述重复行为模式集中的任何一个的偏离。
17.一种用于模拟动画对象的行为的***，所述***包括：
用于获得多个图像的装置；
用于从所述多个图像提取多个特征的装置；以及
用于在多维空间中分析所述多个提取的特征以识别重复行为模式集的装置，其中每个重复行为模式都以平均值和方差为特征。
18.根据权利要求17的***，其中所述多维空间提供所述图像数据的概率分布函数。
19.根据权利要求17的***，其中所述用于分析的装置被进一步配置成集聚所述提取特征数据以识别至少一个重复行为模式。
20.根据权利要求19的***，其中所述用于分析的装置被进一步配置成计算每个集群的平均值和方差。
21.根据权利要求19的***，其中数据集群对应于行为模式。
22.根据权利要求17的***，其中所述用于分析的装置进一步被配置成将所述提取特征数据与概率分布函数进行拟合以识别至少一个具有平均值和方差的高斯型曲线。
23.根据权利要求22的***，其中高斯型曲线对应于行为模式
24.根据权利要求17的***，还包含：
用于获得新行为的新图像的装置；
用于从所述新图像中提取多个新特征的装置；以及
用于如果所提取的新特征数据超出所述重复行为模式集中的任何一个超过预定阈值，则确定所述新行为是对所述重复行为模式集中的任何一个的偏离的装置。
CN038150859A 2002-06-28 2003-06-18 使用概率分布函数来模拟行为的方法和装置 Expired - Fee Related CN1666232B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/184,512 2002-06-28
US10/184,512 US7202791B2 (en) 2001-09-27 2002-06-28 Method and apparatus for modeling behavior using a probability distrubution function
PCT/IB2003/002760 WO2004003848A2 (en) 2002-06-28 2003-06-18 Video surveillance with probabilistic modelling of human behaviour

Publications (2)

Publication Number Publication Date
CN1666232A CN1666232A (zh) 2005-09-07
CN1666232B true CN1666232B (zh) 2010-05-26

Family

ID=29999238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN038150859A Expired - Fee Related CN1666232B (zh) 2002-06-28 2003-06-18 使用概率分布函数来模拟行为的方法和装置

Country Status (6)

Country Link
US (1) US7202791B2 (zh)
EP (1) EP1520258A2 (zh)
JP (2) JP4936662B2 (zh)
CN (1) CN1666232B (zh)
AU (1) AU2003237024A1 (zh)
WO (1) WO2004003848A2 (zh)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6919799B2 (en) * 1999-04-29 2005-07-19 Bridgestone/Firestone North American Tire, Llc Monitoring device and tire combination
US7552030B2 (en) * 2002-01-22 2009-06-23 Honeywell International Inc. System and method for learning patterns of behavior and operating a monitoring and response system based thereon
US20040116783A1 (en) * 2002-12-17 2004-06-17 International Business Machines Corporation Behavior based life support generating new behavior patterns from behavior indicators for a user
US20040116781A1 (en) * 2002-12-17 2004-06-17 International Business Machines Corporation Behavior based life support generating new behavior patterns from historical behavior indicators
JP3981391B2 (ja) * 2003-10-21 2007-09-26 松下電器産業株式会社 監視装置
WO2005120346A1 (en) * 2004-06-03 2005-12-22 Littel Stephanie System and method for ergonomic tracking for individual physical exertion
US7426301B2 (en) * 2004-06-28 2008-09-16 Mitsubishi Electric Research Laboratories, Inc. Usual event detection in a video using object and frame features
US20050285937A1 (en) * 2004-06-28 2005-12-29 Porikli Fatih M Unusual event detection in a video using object and frame features
JP2006133937A (ja) * 2004-11-04 2006-05-25 Fuji Xerox Co Ltd 動作識別装置
KR100720924B1 (ko) * 2005-04-12 2007-05-22 와이즈임베드(주) 구호통보장치
US20060260624A1 (en) * 2005-05-17 2006-11-23 Battelle Memorial Institute Method, program, and system for automatic profiling of entities
US9065727B1 (en) 2012-08-31 2015-06-23 Google Inc. Device identifier similarity models derived from online event signals
GB2426851B (en) * 2005-05-28 2007-07-18 Martin Charles Adams An occupant monitoring system for homes or offices
US7558404B2 (en) 2005-11-28 2009-07-07 Honeywell International Inc. Detection of abnormal crowd behavior
CN101326526A (zh) 2005-12-15 2008-12-17 皇家飞利浦电子股份有限公司 改正人的饮食和活动习惯
US7756682B1 (en) * 2006-09-21 2010-07-13 Sandia Corporationed System and method for statistically monitoring and analyzing sensed conditions
US20100278391A1 (en) * 2006-10-12 2010-11-04 Yung-Tai Hsu Apparatus for behavior analysis and method thereof
GB0620620D0 (en) * 2006-10-17 2006-11-29 Imp Innovations Ltd Pervasive sensing
DE102006053375A1 (de) 2006-11-10 2008-05-15 Boehringer Ingelheim Pharma Gmbh & Co. Kg Verfahren zur Mischung von Pulvern
DE102007010186A1 (de) * 2007-03-02 2008-09-04 Robert Bosch Gmbh Vorrichtung, Verfahren und Computerprogramm zur bildgestützten Verfolgung von Überwachungsobjekten
JP4535398B2 (ja) * 2007-08-10 2010-09-01 国立大学法人名古屋大学 在宅者の行動・安否確認システム
KR20090019152A (ko) * 2007-08-20 2009-02-25 한국전자통신연구원 센서를 이용한 일상생활 행위 인식 방법 및 시스템
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US7412429B1 (en) 2007-11-15 2008-08-12 International Business Machines Corporation Method for data classification by kernel density shape interpolation of clusters
CA2712775A1 (en) * 2008-01-23 2009-07-30 Evan Goulding Systems and methods for behavioral monitoring and calibration
AU2008200926B2 (en) * 2008-02-28 2011-09-29 Canon Kabushiki Kaisha On-camera summarisation of object relationships
US8952894B2 (en) * 2008-05-12 2015-02-10 Microsoft Technology Licensing, Llc Computer vision-based multi-touch sensing using infrared lasers
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8847739B2 (en) * 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US8284258B1 (en) * 2008-09-18 2012-10-09 Grandeye, Ltd. Unusual event detection in wide-angle video (based on moving object trajectories)
US8749391B2 (en) * 2008-10-16 2014-06-10 Koninklijke Philips N.V. Fall detection system
US8890937B2 (en) * 2009-06-01 2014-11-18 The Curators Of The University Of Missouri Anonymized video analysis methods and systems
TWI482123B (zh) * 2009-11-18 2015-04-21 Ind Tech Res Inst 多狀態目標物追蹤方法及系統
WO2012005392A1 (en) * 2010-07-06 2012-01-12 Lg Electronics Inc. Object recognition and tracking based apparatus and method
JP2013037471A (ja) * 2011-08-05 2013-02-21 Nec Corp 確率モデル更新システム、確率モデル更新装置、確率モデル更新方法およびプログラム
JP5785869B2 (ja) * 2011-12-22 2015-09-30 株式会社日立製作所 行動属性分析プログラムおよび装置
US9408561B2 (en) 2012-04-27 2016-08-09 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
US9597016B2 (en) 2012-04-27 2017-03-21 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
GB2501542A (en) * 2012-04-28 2013-10-30 Bae Systems Plc Abnormal behaviour detection in video or image surveillance data
US9053185B1 (en) 2012-04-30 2015-06-09 Google Inc. Generating a representative model for a plurality of models identified by similar feature data
US8914500B1 (en) 2012-05-21 2014-12-16 Google Inc. Creating a classifier model to determine whether a network user should be added to a list
US8886575B1 (en) 2012-06-27 2014-11-11 Google Inc. Selecting an algorithm for identifying similar user identifiers based on predicted click-through-rate
US8874589B1 (en) 2012-07-16 2014-10-28 Google Inc. Adjust similar users identification based on performance feedback
US8782197B1 (en) 2012-07-17 2014-07-15 Google, Inc. Determining a model refresh rate
US9336302B1 (en) 2012-07-20 2016-05-10 Zuci Realty Llc Insight and algorithmic clustering for automated synthesis
US8886799B1 (en) 2012-08-29 2014-11-11 Google Inc. Identifying a similar user identifier
KR101993010B1 (ko) * 2013-02-28 2019-06-25 고려대학교 산학협력단 시공간 패턴에 기반한 비디오 분석 장치 및 방법
US9710761B2 (en) 2013-03-15 2017-07-18 Nordic Technology Group, Inc. Method and apparatus for detection and prediction of events based on changes in behavior
US9905010B2 (en) 2013-06-18 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Image position determination device and image position determination method for reducing an image of a closed eye person
CN103400160B (zh) * 2013-08-20 2017-03-01 中国科学院自动化研究所 一种零训练样本行为识别方法
US9694156B2 (en) 2014-06-05 2017-07-04 Eight Sleep Inc. Bed device system and methods
US20150355612A1 (en) 2014-06-05 2015-12-10 Morphy Inc. Methods and systems for controlling home appliances based on human biological signals
US9686300B1 (en) * 2014-07-14 2017-06-20 Akamai Technologies, Inc. Intrusion detection on computing devices
KR102330322B1 (ko) 2014-09-16 2021-11-24 삼성전자주식회사 영상 특징 추출 방법 및 장치
US10129384B2 (en) 2014-09-29 2018-11-13 Nordic Technology Group Inc. Automatic device configuration for event detection
CN104376208B (zh) * 2014-11-14 2017-05-10 电子科技大学 一种多传感器管理中构建虚拟量测值的方法
CN105023271B (zh) * 2015-06-25 2017-11-14 西北工业大学 基于多线索信息的行为集体度衡量方法
US10206630B2 (en) 2015-08-28 2019-02-19 Foresite Healthcare, Llc Systems for automatic assessment of fall risk
US11864926B2 (en) 2015-08-28 2024-01-09 Foresite Healthcare, Llc Systems and methods for detecting attempted bed exit
EP3163546A1 (en) * 2015-10-29 2017-05-03 Thomson Licensing Method and device for detecting anomalous behavior of a user
US10105092B2 (en) 2015-11-16 2018-10-23 Eight Sleep Inc. Detecting sleeping disorders
US10154932B2 (en) 2015-11-16 2018-12-18 Eight Sleep Inc. Adjustable bedframe and operating methods for health monitoring
KR102206724B1 (ko) * 2016-02-22 2021-01-22 파나소닉 아이피 매니지먼트 가부시키가이샤 인지 증상 검출 시스템 및 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램
CN106056718A (zh) * 2016-06-22 2016-10-26 华东师范大学 一种智能驱动控制***
CA3030850C (en) 2016-06-28 2023-12-05 Foresite Healthcare, Llc Systems and methods for use in detecting falls utilizing thermal sensing
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
US11185235B2 (en) * 2017-03-27 2021-11-30 Panasonic Intellectual Property Management Co., Ltd. Information processing method, information processing device, and recording medium
GB2584242B (en) 2018-01-09 2022-09-14 Eight Sleep Inc Systems and methods for detecting a biological signal of a user of an article of furniture
WO2019143953A1 (en) 2018-01-19 2019-07-25 Eight Sleep Inc. Sleep pod
JP6867701B2 (ja) * 2018-12-03 2021-05-12 株式会社チームボックス モニタリング装置、モニタリングシステム、モニタリング方法及びモニタリングプログラム
GB2579674B (en) * 2018-12-12 2022-09-07 Centrica Plc Monitoring method and system
CN110349646B (zh) * 2019-07-15 2022-06-10 上海交通大学 基于先验知识聚类的运动模式识别方法及***
EP3834725A1 (en) 2019-12-11 2021-06-16 Koa Health B.V. Method and system for detecting human abnormal behaviour by using data from user's portable devices

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1071055A1 (en) * 1999-07-23 2001-01-24 Matsushita Electric Industrial Co., Ltd. Home monitoring system for health conditions

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4952928A (en) 1988-08-29 1990-08-28 B. I. Incorporated Adaptable electronic monitoring and identification system
US5640468A (en) * 1994-04-28 1997-06-17 Hsu; Shin-Yi Method for identifying objects and features in an image
US5961571A (en) * 1994-12-27 1999-10-05 Siemens Corporated Research, Inc Method and apparatus for automatically tracking the location of vehicles
US6064958A (en) * 1996-09-20 2000-05-16 Nippon Telegraph And Telephone Corporation Pattern recognition scheme using probabilistic models based on mixtures distribution of discrete distribution
JPH10255058A (ja) * 1997-03-14 1998-09-25 Toshiba Corp 動作検出装置および動作検出方法
US5991460A (en) * 1998-02-12 1999-11-23 Rockwell Science Center, Inc. Navigation system using hybrid sensor correlation system
US6697103B1 (en) 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
FI109843B (fi) * 1998-04-09 2002-10-15 Ist Oy Ihmisen fysiologisilla signaaleilla ohjautuva kiinteistöautomaation ohjausjärjestelmä
US6314204B1 (en) * 1998-11-03 2001-11-06 Compaq Computer Corporation Multiple mode probability density estimation with application to multiple hypothesis tracking
US6208250B1 (en) * 1999-03-05 2001-03-27 Hill-Rom, Inc. Patient position detection apparatus for a bed
JP3445188B2 (ja) * 1999-08-05 2003-09-08 松下電器産業株式会社 行動判定装置、ケアシステム、ケア住宅およびプログラム記録媒体
JP3459202B2 (ja) * 1999-07-23 2003-10-20 松下電器産業株式会社 行動判定装置、ケアシステム、ケア住宅およびプログラム記録媒体
US6754389B1 (en) * 1999-12-01 2004-06-22 Koninklijke Philips Electronics N.V. Program classification using object tracking
US6311644B1 (en) * 2000-02-03 2001-11-06 Carl S. Pugh Apparatus and method for animal behavior tracking, predicting and signaling
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
JP3977007B2 (ja) * 2000-11-14 2007-09-19 グローリー株式会社 パターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US6525663B2 (en) * 2001-03-15 2003-02-25 Koninklijke Philips Electronics N.V. Automatic system for monitoring persons entering and leaving changing room
US6825769B2 (en) * 2001-09-14 2004-11-30 Koninklijke Philips Electronics N.V. Automatic shut-off light system when user sleeps
US6645066B2 (en) * 2001-11-19 2003-11-11 Koninklijke Philips Electronics N.V. Space-conditioning control employing image-based detection of occupancy and use

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1071055A1 (en) * 1999-07-23 2001-01-24 Matsushita Electric Industrial Co., Ltd. Home monitoring system for health conditions

Also Published As

Publication number Publication date
WO2004003848A9 (en) 2004-12-23
US7202791B2 (en) 2007-04-10
CN1666232A (zh) 2005-09-07
JP4936662B2 (ja) 2012-05-23
JP2011081823A (ja) 2011-04-21
WO2004003848A3 (en) 2004-06-03
AU2003237024A8 (en) 2004-01-19
US20030059081A1 (en) 2003-03-27
EP1520258A2 (en) 2005-04-06
JP5143212B2 (ja) 2013-02-13
WO2004003848A2 (en) 2004-01-08
AU2003237024A1 (en) 2004-01-19
JP2005531845A (ja) 2005-10-20

Similar Documents

Publication Publication Date Title
CN1666232B (zh) 使用概率分布函数来模拟行为的方法和装置
US7369680B2 (en) Method and apparatus for detecting an event based on patterns of behavior
Lu et al. Deep learning for fall detection: Three-dimensional CNN combined with LSTM on video kinematic data
EP3367883B1 (en) Monitoring activities of daily living of a person
CN101385050B (zh) 使人体进入安全可靠的方法和实施所述方法的进入装置
Anderson et al. Reading visually embodied meaning from the brain: Visually grounded computational models decode visual-object mental imagery induced by written text
JP2005531845A5 (zh)
Dubois et al. Human activities recognition with RGB-Depth camera using HMM
CN105787472B (zh) 一种基于时空拉普拉斯特征映射学习的异常行为检测方法
Caroux et al. Verification of daily activities of older adults: a simple, non-intrusive, low-cost approach
KR20150054995A (ko) 사람의 활동 개요 생성 시스템 및 방법
WO2021068781A1 (zh) 一种疲劳状态识别方法、装置和设备
Gjoreski et al. Context-based fall detection and activity recognition using inertial and location sensors
CN115984767A (zh) 一种基于监控画面实时分析的异常预警方法及***
Hemmatpour et al. Nonlinear Predictive Threshold Model for Real‐Time Abnormal Gait Detection
Lamba et al. Multimodal human eye blink recognition method using feature level fusion for exigency detection
CN107194322A (zh) 一种视频监控场景中的行为分析方法
Jaikumar et al. Detection of anomalous events from unlabeled sensor data in smart building environments
Dai Vision-based 3d human motion analysis for fall detection and bed-exiting
Liang et al. A learning model for the automated assessment of hand-drawn images for visuo-spatial neglect rehabilitation
Yoon et al. Fuzzy bin-based classification for detecting children’s presence with 3d depth cameras
Chindaro et al. Assessing visuo-spatial neglect through feature selection from shape drawing performance and sequence analysis
CN115496105B (zh) 睡眠预测模型训练方法、睡眠状况预测方法及相关装置
Rybak et al. Machine Learning Enhanced Decision-Making
Nari et al. A hierarchical description-based video monitoring system for elderly

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100526

Termination date: 20200618