CN110659544A - 一种基于非参数时空上下文轨迹模型的奶牛行为识别方法 - Google Patents
一种基于非参数时空上下文轨迹模型的奶牛行为识别方法 Download PDFInfo
- Publication number
- CN110659544A CN110659544A CN201810710605.8A CN201810710605A CN110659544A CN 110659544 A CN110659544 A CN 110659544A CN 201810710605 A CN201810710605 A CN 201810710605A CN 110659544 A CN110659544 A CN 110659544A
- Authority
- CN
- China
- Prior art keywords
- track
- motion
- model
- cow
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于非参数时空上下文轨迹模型的奶牛行为识别方法。该方法首先基于目标跟踪算法获取奶牛运动轨迹,在此基础上,定义一个二元组(轨迹点,轨迹对)建模奶牛运动时序信息及其不同部位相对运动信息,最后通过支持向量机实现奶牛行为识别分类。该发明通过构建非参数时空上下文轨迹模型建模奶牛多个运动部位的时空相关性,进而获取奶牛动态行为模式。
Description
技术领域
本发明涉及视频处理和计算机视觉领域,尤其涉及一种基于非参数时空上下文轨迹模型的奶牛行为识别方法。
背景技术
行为识别是计算机视觉领域重要基础性课题,对智能视频监控具有重要意义。近年来,国内外一些研究院所对行为识别问题进行深入研究,其中一个核心问题是如何对视频目标有效表达以反映其行为本质。虽然当前提出多种视频动态特征建模方法,但大都针对行人、车辆等,较难适应家畜动作行为。与上述目标相比,家畜不可控、行为难预测。此外,在室外养殖环境下,同一动作行为,类内表观差异大,数据来源多样(普通视频数据、红外数据等),质量参差不齐,且存在大量噪声,现有方法很难实现此情况下目标视觉行为与动态特征的有效对齐。
轨迹表示方法通过建模目标运动轨迹以描述目标动态变化,该类方法不仅可捕获目标的局部运动,还可长时描述目标运动的状态变化与转变过程,这些优势使得其得到较大进展,不过该类方法仍存在一些不足:(1)完全依赖于运动轨迹,若目标表观变化显著导致跟踪漂移,会造成轨迹模型退化;(2)大多方法仅对单条轨迹独立分析,没有考虑不同轨迹间关联。而一个行为或动作一般由目标不同部位协调表达,借助这些关联信息可有效提高识别性能。
发明内容
本发明的目的是为了克服现有技术的缺陷,提出了一种基于非参数时空上下文轨迹模型的奶牛行为识别方法。本发明基于目标多个关键部位的运动轨迹,建模家畜运动时序信息及其不同部位相对运动信息,以增强目标不同部位之间时空上下文信息的利用,进而实现视觉行为与动态特征表达模型的有效对齐。
为实现上述目的,本发明设计了一种基于非参数时空上下文轨迹模型奶牛行为识别方法。具体包括三个部分:轨迹获取、轨迹表达和行为分类,具体为:首先基于目标跟踪算法获取其运动轨迹;然后以轨迹段为处理单元,提出一种非参数时空上下文轨迹模型建模家畜行为模式,该模型定义一个二元组(轨迹点,轨迹对)建模家畜运动时序信息及其不同部位相对运动信息;最后基于支持向量机实现奶牛行为的识别。
本发明的有益效果:
(1)采用非参数上下文时空轨迹模型不仅可以建模家畜运动时序信息及其不同部位相对运动信息,同时能很好地实现视觉行为与动态特征表达的统一,进而保持模型的判别性。
(2)本发明的轨迹特征表达模型能提高行为识别的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明的基于非参数时空上下文轨迹模型奶牛行为识别方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提出了一种基于非参数时空上下文轨迹模型的奶牛行为识别方法。其主要包含三个步骤:轨迹获取、轨迹动态特征表达和目标运动行为识别。图1所示为本发明的方法流程图,具体为:首先把奶牛视频图像序列输入到目标***(如MEEM)中,并标定目标关键运动部位(奶牛头部、前半身、后半身、前膝盖、前牛蹄、后膝盖和后牛蹄等)的初始化位置,并获取其一段时间的运动轨迹;然后基于非参数时空上下文轨迹模型实现轨迹的有效动态表达;在此基础上,基于SVM分类器对其进行分类。具体实现步骤如下:
(1)基于MEEM***的轨迹获取
首先把奶牛视频图像序列输入到MEEM***中,并标定奶牛头部、前半身、后半身、前膝盖、前牛蹄、后膝盖和后牛蹄的初始化位置;在此基础上,对奶牛的头部、前半身、后半身、前膝盖、前牛蹄、后膝盖和后牛蹄,进行跟踪,获取这些关节在每帧中的位置矩形框;最后对得到的位置矩形框进行处理,提取这些矩形框的中心点,进而构成目标关键部位的运动轨迹。
(2)轨迹动态特征表达
基于视频上下文信息和多条轨迹片段,该目标动态特征模型TM构建如下:
TM=[TR,TP] (1)
其中TR、TP分别为轨迹点描述子和轨迹对描述子。
轨迹点模型TR以每帧全部轨迹点为整体,基于轨迹点位置、速度及加速度构建轨迹点描述子,可有效描述目标在当前帧的状态和运动特性:
TR=[P,αδP(t),βδ2P(t)] (2)
其中P={Pi}为跟踪区域的中心点坐标,Pi=(px,py),i=1,2,L,n。δP(t)≈P(t)-P(t-1),δ2P(t)≈P(t2)+P(t-2)-2P(t),权值参数α、β可通过训练优化获得。对TR多帧级联可建模该片段内奶牛活动。
轨迹对模型TP以每帧中轨迹点与轨迹点组成的轨迹点对(简称轨迹对)为对象,基于帧与帧之间的相对位移等成对轨迹特征信息,建模不同轨迹之间的关系,描述奶牛不同部位之间相对运动:
由于模型TM既可描述奶牛运动的时序信息,又可描述奶牛不同部位的相对运动信息,故能反映奶牛运动的动态特性及其结构信息。
(3)目标行为识别
基于(2)获得的奶牛动态特征,结合SVM中的一对一方法多分类模型,对奶牛的行走、奔跑和爬跨三种行为进行分类训练,建立奶牛行为识别分类器,并对后续测试数据中的奶牛行为进行识别。
如下表所示为本发明实施例中基于非参数时空上下文轨迹模型的奶牛行为识别方法得到的识别结果。第一列对应不同行为的视频序列,最后一列为本发明算法实验结果,从中可以看出本发明可以获得鲁棒的行为识别结果。
以上对本发明所提供的实施例进行详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (4)
1.一种基于非参数时空上下文轨迹模型的奶牛行为识别方法,其特征在于,该方法包含三个步骤:轨迹获取、轨迹建模和行为分类,具体为:首先基于目标跟踪算法对奶牛关键部位进行跟踪,以获取其运动轨迹;然后基于视频上下文信息和多条轨迹片段,构建非参数时空上下文轨迹模型建模奶牛多个运动部位的时空相关性,最后构建分类器对其行为进行识别。
2.根据权利要求1所述的方法,其特征在于,在行为特征表达时,为有效利用目标运动轨迹包含的丰富时空上下文信息,采用跟踪算法得到的目标多个运动部位运动轨迹,设计一个非参数时空上下文轨迹模型描述奶牛当前状态及其不同部位之间的相对运动,获取鲁棒的动态特征表达模型;在此基础上,建立支持向量机分类器对其行为进行识别。
3.根据权利要求1或2所述的方法,其特征在于,给定一段长度为n的多条运动轨迹片段及当前帧t,定义一个二元组(轨迹点,轨迹对)建模奶牛运动时序信息及其不同部位相对运动信息。其中,轨迹点模型包含了目标一段时间内的静态姿势和关键部位的运动信息(如速度、加速度等),进而获取尽可能多的行为信息;轨迹对模型由两条轨迹对成对,在每个轨迹对中,第一条轨迹是参考点轨迹,它用于定义一个局部坐标框架;第二条是活动点轨迹,用于对行为活动描述,它主要利用成对的轨迹特征获取运动目标不同部位活动的复杂关系,并使用多帧轨迹,以在一个信息量更大的时间尺度上描述目标的运动行为。
4.根据权利要求1或2或3所述的方法,其特征在于,基于上述特征表达,获取稳定的且具有判别性的特征,然后构建支持向量机对其学习,进而实现奶牛各种行为的识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810710605.8A CN110659544A (zh) | 2018-06-28 | 2018-06-28 | 一种基于非参数时空上下文轨迹模型的奶牛行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810710605.8A CN110659544A (zh) | 2018-06-28 | 2018-06-28 | 一种基于非参数时空上下文轨迹模型的奶牛行为识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110659544A true CN110659544A (zh) | 2020-01-07 |
Family
ID=69027158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810710605.8A Pending CN110659544A (zh) | 2018-06-28 | 2018-06-28 | 一种基于非参数时空上下文轨迹模型的奶牛行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110659544A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111259978A (zh) * | 2020-02-03 | 2020-06-09 | 东北农业大学 | 一种融合多区域深度特征的奶牛个体身份识别方法 |
CN112434577A (zh) * | 2020-11-12 | 2021-03-02 | 中国农业大学 | 奶牛跛行检测方法及奶牛跛行检测装置 |
CN113496143A (zh) * | 2020-03-19 | 2021-10-12 | 北京市商汤科技开发有限公司 | 动作识别方法及装置、存储介质 |
-
2018
- 2018-06-28 CN CN201810710605.8A patent/CN110659544A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111259978A (zh) * | 2020-02-03 | 2020-06-09 | 东北农业大学 | 一种融合多区域深度特征的奶牛个体身份识别方法 |
CN113496143A (zh) * | 2020-03-19 | 2021-10-12 | 北京市商汤科技开发有限公司 | 动作识别方法及装置、存储介质 |
CN112434577A (zh) * | 2020-11-12 | 2021-03-02 | 中国农业大学 | 奶牛跛行检测方法及奶牛跛行检测装置 |
CN112434577B (zh) * | 2020-11-12 | 2024-03-26 | 中国农业大学 | 奶牛跛行检测方法及奶牛跛行检测装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6625220B2 (ja) | シーン内のオブジェクトのアクションを検出する方法及びシステム | |
CN102663429B (zh) | 运动目标的运动模式分类和动作识别的方法 | |
JP4590717B2 (ja) | 顔識別装置及び顔識別方法 | |
Sun et al. | Discriminative exemplar coding for sign language recognition with kinect | |
Hoffman et al. | A probabilistic model of gaze imitation and shared attention | |
CN110135249A (zh) | 基于时间注意力机制和lstm的人体行为识别方法 | |
CN108171133B (zh) | 一种基于特征协方差矩阵的动态手势识别方法 | |
CN105809144A (zh) | 一种采用动作切分的手势识别***和方法 | |
Calinon et al. | On learning the statistical representation of a task and generalizing it to various contexts | |
CN109472198A (zh) | 一种姿态鲁棒的视频笑脸识别方法 | |
CN105574510A (zh) | 一种步态识别方法及装置 | |
CN102479388A (zh) | 基于人脸跟踪和分析的表情互动方法 | |
CN110659544A (zh) | 一种基于非参数时空上下文轨迹模型的奶牛行为识别方法 | |
Nuevo et al. | RSMAT: Robust simultaneous modeling and tracking | |
CN103870843A (zh) | 基于多特征点集活动形状模型的头部姿态估计方法 | |
Han et al. | Weakly-supervised learning of category-specific 3D object shapes | |
Sheng et al. | Robust visual tracking via an improved background aware correlation filter | |
Amrutha et al. | Human Body Pose Estimation and Applications | |
Zhang | Analyzing body changes of high-level dance movements through biological image visualization technology by convolutional neural network | |
Shang et al. | Cattle behavior recognition based on feature fusion under a dual attention mechanism | |
Chu et al. | A Kinect-based handwritten digit recognition for TV remote controller | |
Yuan et al. | A systematic survey on human behavior recognition methods | |
Liu et al. | The study on human action recognition with depth video for intelligent monitoring | |
Han et al. | Cultural and creative product design and image recognition based on the convolutional neural network model | |
Uddin et al. | A thermal camera-based activity recognition using discriminant skeleton features and rnn |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200107 |