CN111666881A - 一种大熊猫踱步、吃竹子、发情行为跟踪分析方法 - Google Patents

一种大熊猫踱步、吃竹子、发情行为跟踪分析方法 Download PDF

Info

Publication number
CN111666881A
CN111666881A CN202010510090.4A CN202010510090A CN111666881A CN 111666881 A CN111666881 A CN 111666881A CN 202010510090 A CN202010510090 A CN 202010510090A CN 111666881 A CN111666881 A CN 111666881A
Authority
CN
China
Prior art keywords
background
pixel
sample set
current pixel
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010510090.4A
Other languages
English (en)
Other versions
CN111666881B (zh
Inventor
张名岳
汪子君
刘玉良
蔡志刚
侯蓉
张晓卉
安俊辉
张瑛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHENGDU RESEARCH BASE OF GIANT PANDA BREEDING
Original Assignee
CHENGDU RESEARCH BASE OF GIANT PANDA BREEDING
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU RESEARCH BASE OF GIANT PANDA BREEDING filed Critical CHENGDU RESEARCH BASE OF GIANT PANDA BREEDING
Priority to CN202010510090.4A priority Critical patent/CN111666881B/zh
Publication of CN111666881A publication Critical patent/CN111666881A/zh
Application granted granted Critical
Publication of CN111666881B publication Critical patent/CN111666881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及信息技术领域，提供了一种大熊猫踱步、吃竹子、发情行为跟踪分析方法。其主旨在于解决大熊猫运动背景比较复杂，传统的背景提取算法难以达到理想的前景目标提取效果的问题。主要方案包括，步骤1、输入大熊猫视频图像，对视频帧用改进vibe方法做前景目标提取；步骤2、对提取到的前景模板进行形态学腐蚀膨胀；步骤3、将连通区域面积最大的轮廓的最小外接矩形作为目标区域，将目标区域形心作为目标所在位置；步骤4、对每一帧图像进行步骤1‑3相同的操作，输出大熊猫运动轨迹和运动速度，并对行为进行分析。

Description

一种大熊猫踱步、吃竹子、发情行为跟踪分析方法
技术领域
本发明涉及信息技术领域，提供了一种大熊猫踱步、吃竹子、发情行为跟踪分析方法。
背景技术
大熊猫是我国特有的珍稀、濒危野生动物。多年来，由于大面积森林砍伐、毁林开荒、偷猎、公路铁路等大型基础设施的建造等人类活动原因，导致大熊猫种群面临着栖息地丧失和破碎化的生存压力。目前，野外大熊猫仅存大约1864只，分布在岷山、邛崃、大小相岭、凉山、秦岭南麓。迁地保护即人工饲养繁殖是濒危物种保护的基本途径之一，是就地保护(即栖息地保护)的补充和扩展，对增加种群数量、维持现有圈养大熊猫繁殖种群、维持物种的延续具有重要作用。但是，目前圈养大熊猫种群面临着患病率过高、出生率较低、健康状况差及行为退化等问题。
濒危野生动物的保护包括就地保护与迂地保护两种重要手段，迂地保护作为大熊猫就地保护的重要补充手段在近年来取得了重要突破。大熊猫的圈养饲养始于1936年，1936年11月哈克尼斯夫人(Rush Harkness)在四川汶川草坡获得一只两个多月大的雄性大熊猫，并为其取名叫“苏琳”(大熊猫国际谱系号1号)。“苏琳”是第一只被带出国的活体大熊猫，并于1937年2月在美国芝加哥动物园展出。而新中国成立后，在1953年首次由成都动物园饲养大熊猫，开始了我国饲养大熊猫的历史。尽管大熊猫的饲养已经经历了70余年的历程，但是大熊猫的饲养繁育历史却异常曲折。从1936年至上世纪90年代前进步缓慢，圈养大熊猫繁育十分困难。从上世纪90年代至今，特别是2000年以来，圈养大熊猫饲养、繁育与疾病防控技术取得了长足进步，但仍有一些需要进一步研究的方向。
基于视频的行为识别技术大部分都是对人体行为进行识别，对于动物的行为识别很少，仅有少量研究人员对猪、鸡等动物的行为识别进行了研究。对于大熊猫的研究主要在基因、遗传等生物领域，有少量对静态图像中大熊猫的检测研究，对视频中大熊猫行为识别的研究目前处于空白阶段，本文对视频中大熊猫行为识别、跟踪进行研究分析，帮助监控大熊猫的生理、精神健康状态以及繁殖状态，为提升大熊猫的种群的健康状态和种群数量做贡献。
为了掌握大熊猫的生理健康、精神健康状态和发情状态，需要对大熊猫的吃竹子、踱步、发情行为进行检测记录，然后进行分析，如果有异常及时采取合理的措施，确保大熊猫处在一个健康的状态。
发明内容
本发明的目的在于解决大熊猫运动背景比较复杂，传统的背景提取算法难以达到理想的前景目标提取效果的问题。
本发明为解决上述技术问题，采用以下技术方案：
一种大熊猫踱步行为跟踪分析方法，其特征在于包括以下步骤：
步骤1、输入大熊猫视频图像，对视频帧用改进vibe方法做前景目标提取；
步骤2、对提取到的前景模板进行形态学腐蚀膨胀；
步骤3、将连通区域面积最大的轮廓的最小外接矩形作为目标区域，将目标区域形心作为目标所在位置；
步骤4、对每一帧图像进行步骤1-3相同的操作，输出大熊猫运动轨迹和运动速度，并对行为进行分析。
上述技术方案中，所述改进vibe方法包括以下步骤：
步骤1.1、背景初始化，用多帧平均法选取视频前n帧构建初始背景B0；
步骤1.2、对初始背景B0的每一个像素(x，y)建立一个大小为N的样本集M(x，y)＝{v1，v2，...vn}，其中，vi为(x，y)的8邻域随机采样值，i＝1，2，…，N；
步骤1.3、对第i帧图像fi(i＝2，3..n)进行计算：
TBi＝FOTSU(abs(fi-Brd))
Figure BDA0002527913740000021
TFi＝FOTSU(abs(fi-fi-1))
Ri＝TFi+(1-a)·TBi
其中Brd表示选取每个样本集中第rd个样本构成的背景，rd为从{1，2，...N}中随机选取的值，FOTSU(·)表示采用OTSU方法计算的前景分割后背景分割阈值，TBi表示用OTSU方法计算背景差分结果的分割阈值，Infi(x，y)表示第i帧图像在(x，y)处的二值化结果，TFi表示用OTSU方法计算帧差结果的分割阈值，Ri表示第i帧半径阈值R的取值，α是加权系数，一般是零点几；
如Infi(x，y)＝1，就进行下面的处理：
步骤1.3.1、判断当前像素(x，y)是否为背景，通过计算当前像素(x，y)与其对应样本集的相似程度来判断当前像素是否为背景，具体计算为：
Figure BDA0002527913740000031
cntj表示当前像素(x，y)和背景样本集中第j个背景样本像素的相似程度的判断结果，如果当前像素和背景样本集中所有背景像素点比较结果求和大于等于阈值T，则判断当前像素点是背景像素；否则是前景像素；fi示第i帧视频帧，指的是当前所在的视频帧；dis表示求两个像素之间的欧式距离；vj表示背景样本集中第j个像素点；
Figure BDA0002527913740000032
DBi(x，y)表示第i帧图像中像素点(x，y)是前景还是背景像素点的判断结果，当前像素为前景像素，即DBi(x，y)＝1；
当前像素(x，y)为背景像素，即DBi(x，y)＝0时，以1/θ的概率进行背景更新，背景更新分为当前样本集更新和邻域更新两部分，θ是时间采样因子，一般取16，在每一个新的视频帧中都去更新背景模型是没有必要的，当一个像素点被分类为背景点时，它有1/θ的概率去更新背景模型；
一是样本集更新，用当前像素(x，y)的像素值fi(x，y)替换其对应的背景样本集M(x，y)中随机选取的一个样本vid，即为vid＝fi(x，y)；
二是邻域更新，当前像素(x，y)的8邻域内随机选取一个位置当前像素(x1，y1)的，再在该位置对应的背景样本集M(x1，y1)中速记选取一个样本v1，用当前像素进行替换，即为vi＝fi(x，y)。
本发明提供了一种大熊猫吃竹子和发情行为识别方法，包括以下步骤：
步骤1、输入大熊猫视频图像，对视频帧用改进vibe方法做前景目标提取，得到前景目标图像；
步骤2、对前景目标图像中构造多尺度空间金字塔，通过密集采样获取稠密轨迹的候选点，从不同的空间尺度提取稠密轨迹；
步骤3、用ut表示光流场中的水平分量，vt表示光流场中的垂直分量，ω＝(ut，vt)则表示第t帧和第t+1帧图像间的密集光流场，对第t帧图像上的特征点Pt＝(xt，yt)在光流域ωt上使用中值滤波器M进行平滑处理，该点平滑后再对应的第t+1帧上的位置定义为：
Figure BDA0002527913740000041
其中
Figure BDA0002527913740000042
是以(xt，yt)为中心的圆形区域，ωt为光流域，M为中值滤波(请补充)，把后续帧中跟踪到的特征点串联起来就成了运动轨迹(Pt，Pt+1，……)；
步骤4、在光流场中对特征点跟踪形成运动轨迹，为避免长时间跟踪而产生跟踪漂移现象，对跟踪的长度L进行约束，沿稠密轨迹构建特征描述子，采集HOG和轨迹形状作为形状描述符，利用HOF和MBH作为运动描述符；
步骤5、采用主成分分析(Principal Component Analysis，PCA)对获取的特征描述子进行降维，把数据从高维空间映射到低纬空间，同时保证映射的时候保留尽可能多的主要信息，得到特征维度为d的降维后的特征描述子；
步骤6、基于Fisher Vector的特征编码和分类，采用高斯混合模型(GMM)对局部特征进行建模，取高斯聚类的个数K，利用EM算法训练局部特征集合来求解GMM；接着使用Fisher Vector对降维后的特征描述子进行编码，编码后得到的特征维数为2×d×K；
步骤8、最后将获取的编码后的特征描述子送入SVM分类器进行分类。
上述技术方案中，所述改进vibe方法包括以下步骤：
步骤1.1、背景初始化，用多帧平均法选取视频前n帧构建初始背景B0；
步骤1.2、对初始背景B0的每一个像素(x，y)建立一个大小为N的样本集M(x，y)＝{v1，v2，...vn}，其中，vi为(x，y)的8邻域随机采样值，i＝1，2，…，N；
步骤1.3、对第i帧图像fi(i＝2，3..n)进行计算：
TBi＝FOTSU(abs(fi-Brd))
Figure BDA0002527913740000051
TFi＝FOTSU(abs(fi-fi-1))
Ri＝TFi+(1-a)·TBi
其中Brd表示选取每个样本集中第rd个样本构成的背景，rd为从{1，2，...N}中随机选取的值，FOTSU(·)表示采用OTSU方法计算的前景分割后背景分割阈值，TBi表示用OTSU方法计算背景差分结果的分割阈值，Infi(x，y)表示第i帧图像在(x，y)处的二值化结果，TFi表示用OTSU方法计算帧差结果的分割阈值，Ri表示第i帧半径阈值R的取值，α是加权系数，一般是零点几；
如Infi(x，y)＝1，就进行下面的处理：
步骤1.3.1、判断当前像素(x，y)是否为背景，通过计算当前像素(x，y)与其对应样本集的相似程度来判断当前像素是否为背景，具体计算为：
Figure BDA0002527913740000052
cntj表示当前像素(x，y)和背景样本集中第j个背景样本像素的相似程度的判断结果，如果当前像素和背景样本集中所有背景像素点比较结果求和大于等于阈值T，则判断当前像素点是背景像素；否则是前景像素；fi示第i帧视频帧，指的是当前所在的视频帧；dis表示求两个像素之间的欧式距离；vj表示背景样本集中第j个像素点；
Figure BDA0002527913740000061
DBi(x，y)表示第i帧图像中像素点(x，y)是前景还是背景像素点的判断结果，当前像素为前景像素，即DBi(x，y)＝1；
当前像素(x，y)为背景像素，即DBi(x，y)＝0时，以1/θ的概率进行背景更新，背景更新分为当前样本集更新和邻域更新两部分，θ是时间采样因子；
一是样本集更新，用当前像素(x，y)的像素值fi(x，y)替换其对应的背景样本集M(x，y)中随机选取的一个样本vid，即为vid＝fi(x，y)；
二是邻域更新，当前像素(x，y)的8邻域内随机选取一个位置当前像素(x1，y1)的，再在该位置对应的背景样本集M(x1，y1)中速记选取一个样本v1，用当前像素进行替换，即为vi＝fi(x，y)。
因为本发明采用上述技术方案，因此具备以下有益效果：
由于大熊猫在人工建造的环境中生活，相比在野生环境，活动空间有限，环境不够丰富，有些大熊猫经过一段时间可能会出现精神上的厌倦，产生精神上的一些问题，表现在行为上就是会做一些重复性的动作，比如在一个封闭路线反复走动，这种行为也被称为刻板踱步行为。为了对大熊猫的刻板踱步行为进行识别，采取的方法如下：
1)由于大熊猫运动背景比较复杂，传统的背景提取算法难以达到理想的前景目标提取效果，用改进的vibe算法进行大熊猫前景目标提取。通过采用多帧平均法构建初始背景，再进行背景模型建模，解决了传统vibe算法不能及时反映场景变化，提取前景目标质量较低的问题，有效地提升了前景目标提取准确度。
2)对提取的图像进行形态学腐蚀膨胀操作和连通域分析，将连通区域面积最大的轮廓作为大熊猫活动区域，求这个区域的最小外接矩形，把这个区域的形心作为大熊猫所在位置；对每一帧图像进行相同的跟踪操作，即可得到大熊猫的运动轨迹。与传统的方法相比，本文提出的方法在保证了较高跟踪准确度的同时，还降低了计算复杂度。
3)通过分析运动轨迹重复性，判断运动是否属于刻板运动行为，判断大熊猫的运动习惯是否有异常，如果出现异常，说明精神状态出现问题，及时采取相应的措施进行治疗。
说明书附图
图1为本发明流程步骤示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在大熊猫行为识别过程中，主要存在以下关键性问题：
第一个关键性问题是如何对大熊猫的进行准确跟踪，记录其运动轨迹和运动时长。
第二个关键性问题是如何大熊猫的行为进行准确识别，由于大熊猫的外形，行为动作和人类有很大不同，而现有的基于视频的行为识别大部分都是对人体行为识别，针对大熊猫的动作不规律，外形多变的特点，需要设计合理的算法，实现较为准确的识别并进行记录。
大熊猫踱步行为跟踪及分析。大熊猫在同一路段沿着同一路线进行三次以上重复走动被称为刻板踱步行为，出现这种行为可能意味着大熊猫的精神状况出现了一定程度的异常，出现了无意识的重复行为，需要及时采取一定手段介入，改善其精神状况。
大熊猫进食行为识别分析，大熊猫进食以竹子为主，通过研究识别分析进食时间长短，和平时进行比较，如果时间长度异常，分析是否和大熊猫的健康状况异常有关，例如牙齿有问题或者消化***有问题，需要及时采取治疗手段。
大熊猫发情行为识别，大熊猫在发情期一些特殊行为的出现频率会陡然增高，比如倒立蹭阴，侧抬腿蹭阴，举尾等。通过识别并统计这些特殊行为的出现次数，可以有效监控大熊猫发情期，为大熊猫的繁育工作做准备。
为此本发明提供了一种大熊猫踱步行为跟踪分析方法，其特征在于包括以下步骤：
步骤1、输入大熊猫视频图像，对视频帧用改进vibe方法做前景目标提取；
步骤2、对提取到的前景模板进行形态学腐蚀膨胀；
步骤3、将连通区域面积最大的轮廓的最小外接矩形作为目标区域，将目标区域形心作为目标所在位置；
步骤4、对每一帧图像进行步骤1-3相同的操作，输出大熊猫运动轨迹和运动速度，并对行为进行分析。
上述技术方案中，所述改进vibe方法包括以下步骤：
步骤1.1、背景初始化，用多帧平均法选取视频前n帧构建初始背景B0；
步骤1.2、对初始背景B0的每一个像素(x，y)建立一个大小为N的样本集M(x，y)＝{v1，v2，...vn}，其中，vi为(x，y)的8邻域随机采样值，i＝1，2，…，N；
步骤1.3、对第i帧图像fi(i＝2，3..n)进行计算：
TBi＝FOTSU(abs(fi-Brd))
Figure BDA0002527913740000091
TFi＝FOTSU(abs(fi-fi-1))
Ri＝TFi+(1-a)·TBi
其中Brd表示选取每个样本集中第rd个样本构成的背景，rd为从{1，2，...N}中随机选取的值，FOTSU(·)表示采用OTSU方法计算的前景分割后背景分割阈值，TBi表示用OTSU方法计算背景差分结果的分割阈值，Infi(x，y)表示第i帧图像在(x，y)处的二值化结果，TFi表示用OTSU方法计算帧差结果的分割阈值，Ri表示第i帧半径阈值R的取值，α是加权系数，一般是零点几；
如Infi(x，y)＝1，就进行下面的处理：
步骤1.3.1、判断当前像素(x，y)是否为背景，通过计算当前像素(x，y)与其对应样本集的相似程度来判断当前像素是否为背景，具体计算为：
Figure BDA0002527913740000092
cntj表示当前像素(x，y)和背景样本集中第j个背景样本像素的相似程度的判断结果，如果当前像素和背景样本集中所有背景像素点比较结果求和大于等于阈值T，则判断当前像素点是背景像素；否则是前景像素；fi示第i帧视频帧，指的是当前所在的视频帧；dis表示求两个像素之间的欧式距离；vj表示背景样本集中第j个像素点；
Figure BDA0002527913740000093
DBi(x，y)表示第i帧图像中像素点(x，y)是前景还是背景像素点的判断结果，当前像素为前景像素，即DBi(x，y)＝1；
当前像素(x，y)为背景像素，即DBi(x，y)＝0时，以1/θ的概率进行背景更新，背景更新分为当前样本集更新和邻域更新两部分，θ是时间采样因子，一般取16，在每一个新的视频帧中都去更新背景模型是没有必要的，当一个像素点被分类为背景点时，它有1/θ的概率去更新背景模型；
一是样本集更新，用当前像素(x，y)的像素值fi(x，y)替换其对应的背景样本集M(x，y)中随机选取的一个样本vid，即为vid＝fi(x，y)；
二是邻域更新，当前像素(x，y)的8邻域内随机选取一个位置当前像素(x1，y1)的，再在该位置对应的背景样本集M(x1，y1)中速记选取一个样本v1，用当前像素进行替换，即为vi＝fi(x，y)。
大熊猫吃竹子行为识别及分析，大熊猫的吃竹子时间长短往往可以标识大熊猫的健康状态，如果进食时间突然出现大幅度增加或者大幅度减少，连续几次出现这种情况，需要检查大熊猫是不是牙齿出现问题，或者消化***出现问题，需要及时进行治疗。实现大熊猫吃竹子行为识别及记录需要两个步骤：一是吃竹子行为识别，二是对吃竹子时间长度进行记录，并和历史数据进行比较，分析是否存在异常情况。
大熊猫发情行为识别及分析，大熊猫的繁殖是影响大熊猫种群数量的重要因素，由于大熊猫的发情期较为短暂，所以提前监测大熊猫的发情行为，准确把握大熊猫发情期，可以很大程度上促进大熊猫的繁殖，扩大大熊猫的数量，具有重要意义。
大熊猫的发情行为有气味标记或蹭阴，快速移动，举尾，冲撞等。大熊猫发情行为识别分析主要分为两个步骤：一是对发情行为进行分类识别，二是对发情行为次数进行记录，每种行为出现次数都记录下来，便于后续分析大熊猫的发情期。
基于前景目标提取和稠密轨迹的大熊猫行为识别，大熊猫活动在在人工建造的活动区域，背景较为复杂。如果直接基于原始图像进行稠密轨迹提取，导致特征位数过高计算量大而且包含大量背景冗余信息，针对这个问题，提出基于前景目标提取和稠密轨迹的行为识别方法。首先对视频帧进行目标区域提取，然后在目标区域内提取稠密轨迹并沿轨迹构建特征描述符，用主成分分析PCA对获取的特征描述符降低特征维数，减少计算量，然后用混合高斯模型对局部特征进行建模，接着用Fisher vector对特征进行编码，最后使用SVM训练分类。
本发明提供了一种大熊猫吃竹子和发情行为识别方法，包括以下步骤：
步骤1、输入大熊猫视频图像，对视频帧用改进vibe方法做前景目标提取，得到前景目标图像；
步骤2、对前景目标图像中构造多尺度空间金字塔，通过密集采样获取稠密轨迹的候选点，从不同的空间尺度提取稠密轨迹；
步骤3、用ut表示光流场中的水平分量，vt表示光流场中的垂直分量，ω＝(ut，vt)则表示第t帧和第t+1帧图像间的密集光流场，对第t帧图像上的特征点Pt＝(xt，yt)在光流域ωt上使用中值滤波器M进行平滑处理，该点平滑后再对应的第t+1帧上的位置定义为：
Figure BDA0002527913740000111
其中
Figure BDA0002527913740000112
是以(xt，，yt)为中心的圆形区域，ωt为光流域，M为中值滤波(请补充)，把后续帧中跟踪到的特征点串联起来就成了运动轨迹(Pt，Pt+1，……)；
步骤4、在光流场中对特征点跟踪形成运动轨迹，为避免长时间跟踪而产生跟踪漂移现象，对跟踪的长度L进行约束，沿稠密轨迹构建特征描述子，采集HOG和轨迹形状作为形状描述符，利用HOF和MBH作为运动描述符；
步骤5、采用主成分分析(Principal Component Analysis，PCA)对获取的特征描述子进行降维，把数据从高维空间映射到低纬空间，同时保证映射的时候保留尽可能多的主要信息，得到特征维度为d的降维后的特征描述子；
步骤6、基于Fisher Vector的特征编码和分类，采用高斯混合模型(GMM)对局部特征进行建模，取高斯聚类的个数K，利用EM算法训练局部特征集合来求解GMM；接着使用Fisher Vector对降维后的特征描述子进行编码，编码后得到的特征维数为2×d×K；
步骤8、最后将获取的编码后的特征描述子送入SVM分类器进行分类。
上述技术方案中，所述改进vibe方法包括以下步骤：
步骤1.1、背景初始化，用多帧平均法选取视频前n帧构建初始背景B0；
步骤1.2、对初始背景B0的每一个像素(x，y)建立一个大小为N的样本集M(x，y)＝{v1，v2，...vn}，其中，vi为(x，y)的8邻域随机采样值，i＝1，2，…，N；
步骤1.3、对第i帧图像fi(i＝2，3..n)进行计算：
TBi＝FOTSU(abs(fi-Brd))
Figure BDA0002527913740000121
TFi＝FOTSU(abs(fi-fi-1))
Ri＝TFi+(1-a)·TBi
其中Brd表示选取每个样本集中第rd个样本构成的背景，rd为从{1，2，...N}中随机选取的值，FOTSU(·)表示采用OTSU方法计算的前景分割后背景分割阈值，TBi表示用OTSU方法计算背景差分结果的分割阈值，Infi(x，y)表示第i帧图像在(x，y)处的二值化结果，TFi表示用OTSU方法计算帧差结果的分割阈值，Ri表示第i帧半径阈值R的取值，α是加权系数，一般是零点几；
如Infi(x，y)＝1，就进行下面的处理：
步骤1.3.1、判断当前像素(x，y)是否为背景，通过计算当前像素(x，y)与其对应样本集的相似程度来判断当前像素是否为背景，具体计算为：
Figure BDA0002527913740000122
cntj表示当前像素(x，y)和背景样本集中第j个背景样本像素的相似程度的判断结果，如果当前像素和背景样本集中所有背景像素点比较结果求和大于等于阈值T，则判断当前像素点是背景像素；否则是前景像素；fi示第i帧视频帧，指的是当前所在的视频帧；dis表示求两个像素之间的欧式距离；vj表示背景样本集中第j个像素点；
Figure BDA0002527913740000131
DBi(x，y)表示第i帧图像中像素点(x，y)是前景还是背景像素点的判断结果，当前像素为前景像素，即DBi(x，y)＝1；
当前像素(x，y)为背景像素，即DBi(x，y)＝0时，以1/θ的概率进行背景更新，背景更新分为当前样本集更新和邻域更新两部分，θ是时间采样因子；
一是样本集更新，用当前像素(x，y)的像素值fi(x，y)替换其对应的背景样本集M(x，y)中随机选取的一个样本vid，即为vid＝fi(x，y)；
二是邻域更新，当前像素(x，y)的8邻域内随机选取一个位置当前像素(x1，y1)的，再在该位置对应的背景样本集M(x1，y1)中速记选取一个样本v1，用当前像素进行替换，即为vi＝fi(x，y)。

Claims (4)

1.一种大熊猫踱步行为跟踪分析方法，其特征在于包括以下步骤：
步骤1、输入大熊猫视频图像，对视频帧用改进vibe方法做前景目标提取；
步骤2、对提取到的前景模板进行形态学腐蚀膨胀；
步骤3、将连通区域面积最大的轮廓的最小外接矩形作为目标区域，将目标区域形心作为目标所在位置；
步骤4、对每一帧图像进行步骤1-3相同的操作，输出大熊猫运动轨迹和运动速度，并对行为进行分析。
2.根据权利要求1所述的一种大熊猫踱步行为跟踪分析方法，其特征在于，所述改进vibe方法包括以下步骤：
步骤1.1、背景初始化，用多帧平均法选取视频前n帧构建初始背景B0；
步骤1.2、对初始背景B0的每一个像素(x，y)建立一个大小为N的样本集M(x，y)＝{v1，v2，...vn}，其中，vi为(x，y)的8邻域随机采样值，i＝1，2，…，N；
步骤1.3、对第i帧图像fi(i＝2，3..n)进行计算：
TBi＝FOTSU(abs(fi-Brd))
Figure FDA0002527913730000011
TFi＝FOTSU(abs(fi-fi-1))
Ri＝TFi+(1-a)·TBi
其中Brd表示选取每个样本集中第rd个样本构成的背景，rd为从{1，2，...N}中随机选取的值，FOTSU(·)表示采用OTSU方法计算的前景分割后背景分割阈值，TBi表示用OTSU方法计算背景差分结果的分割阈值，Infi(x，y)表示第i帧图像在(x，y)处的二值化结果，TFi表示用OTSU方法计算帧差结果的分割阈值，Ri表示第i帧半径阈值R的取值，α是加权系数，一般是零点几；
如Infi(x，y)＝1，就进行下面的处理：
步骤1.3.1、判断当前像素(x，y)是否为背景，通过计算当前像素(x，y)与其对应样本集的相似程度来判断当前像素是否为背景，具体计算为：
Figure FDA0002527913730000021
cntj表示当前像素(x，y)和背景样本集中第j个背景样本像素的相似程度的判断结果，如果当前像素和背景样本集中所有背景像素点比较结果求和大于等于阈值T，则判断当前像素点是背景像素；否则是前景像素；fi示第i帧视频帧，指的是当前所在的视频帧；dis表示求两个像素之间的欧式距离；vj表示背景样本集中第j个像素点；
Figure FDA0002527913730000022
DBi(x，y)表示第i帧图像中像素点(x，y)是前景还是背景像素点的判断结果，当前像素为前景像素，即DBi(x，y)＝1；
当前像素(x，y)为背景像素，即DBi(x，y)＝0时，以1/θ的概率进行背景更新，背景更新分为当前样本集更新和邻域更新两部分，θ是时间采样因子；
一是样本集更新，用当前像素(x，y)的像素值fi(x，y)替换其对应的背景样本集M(x，y)中随机选取的一个样本vid，即为vid＝fi(x，y)；
二是邻域更新，当前像素(x，y)的8邻域内随机选取一个位置当前像素(x1，y1)的，再在该位置对应的背景样本集M(x1，y1)中速记选取一个样本v1，用当前像素进行替换，即为vi＝fi(x，y)。
3.一种大熊猫吃竹子和发情行为识别方法，其特征在于包括以下步骤：
步骤1、输入大熊猫视频图像，对视频帧用改进vibe方法做前景目标提取，得到前景目标图像；
步骤2、对前景目标图像中构造多尺度空间金字塔，通过密集采样获取稠密轨迹的候选点，从不同的空间尺度提取稠密轨迹；
步骤3、用ut表示光流场中的水平分量，vt表示光流场中的垂直分量，ω＝(ut，vt)则表示第t帧和第t+1帧图像间的密集光流场，对第t帧图像上的特征点Pt＝(xt，yt)在光流域ωt上使用中值滤波器M进行平滑处理，该点平滑后再对应的第t+1帧上的位置定义为：
Figure FDA0002527913730000031
其中
Figure FDA0002527913730000032
是以(xt，yt)为中心的圆形区域，ωt为光流域，M为中值滤波(请补充)，把后续帧中跟踪到的特征点串联起来就成了运动轨迹(Pt，Pt+1，......)；
步骤4、在光流场中对特征点跟踪形成运动轨迹，为避免长时间跟踪而产生跟踪漂移现象，对跟踪的长度L进行约束，沿稠密轨迹构建特征描述子，采集HOG和轨迹形状作为形状描述符，利用HOF和MBH作为运动描述符；
步骤5、采用主成分分析(Principal Component Analysis，PCA)对获取的特征描述子进行降维，把数据从高维空间映射到低纬空间，同时保证映射的时候保留尽可能多的主要信息，得到特征维度为d的降维后的特征描述子；
步骤6、基于Fisher Vector的特征编码和分类，采用高斯混合模型(GMM)对局部特征进行建模，取高斯聚类的个数K，利用EM算法训练局部特征集合来求解GMM；接着使用FisherVector对降维后的特征描述子进行编码，编码后得到的特征维数为2×d×K；
步骤8、最后将获取的编码后的特征描述子送入SVM分类器进行分类。
4.根据权利要求3所述的一种大熊猫吃竹子和发情行为识别方法，其特征在于，所述改进vibe方法包括以下步骤：
步骤1.1、背景初始化，用多帧平均法选取视频前n帧构建初始背景B0；
步骤1.2、对初始背景B0的每一个像素(x，y)建立一个大小为N的样本集M(x，y)＝{v1，v2，...vn}，其中，vi为(x，y)的8邻域随机采样值，i＝1，2，…，N；
步骤1.3、对第i帧图像fi(i＝2，3..n)进行计算：
TBi＝FOTSU(abs(fi-Brd))
Figure FDA0002527913730000033
TFi＝FOTSU(abs(fi-fi-1))
Ri＝TFi+(1-a)·TBi
其中Brd表示选取每个样本集中第rd个样本构成的背景，rd为从{1，2，...N}中随机选取的值，FOTSU(·)表示采用OTSU方法计算的前景分割后背景分割阈值，TBi表示用OTSU方法计算背景差分结果的分割阈值，Infi(x，y)表示第i帧图像在(x，y)处的二值化结果，TFi表示用OTSU方法计算帧差结果的分割阈值，Ri表示第i帧半径阈值R的取值，α是加权系数，一般是零点几；
如Infi(x，y)＝1，就进行下面的处理：
步骤1.3.1、判断当前像素(x，y)是否为背景，通过计算当前像素(x，y)与其对应样本集的相似程度来判断当前像素是否为背景，具体计算为：
Figure FDA0002527913730000041
cntj表示当前像素(x，y)和背景样本集中第j个背景样本像素的相似程度的判断结果，如果当前像素和背景样本集中所有背景像素点比较结果求和大于等于阈值T，则判断当前像素点是背景像素；否则是前景像素；fi示第i帧视频帧，指的是当前所在的视频帧；dis表示求两个像素之间的欧式距离；vj表示背景样本集中第j个像素点；
Figure FDA0002527913730000042
DBi(x，y)表示第i帧图像中像素点(x，y)是前景还是背景像素点的判断结果，当前像素为前景像素，即DBi(x，y)＝1；
当前像素(x，y)为背景像素，即DBi(x，y)＝0时，以1/θ的概率进行背景更新，背景更新分为当前样本集更新和邻域更新两部分，θ是时间采样因子；
一是样本集更新，用当前像素(x，y)的像素值fi(x，y)替换其对应的背景样本集M(x，y)中随机选取的一个样本vid，即为vid＝fi(x，y)；
二是邻域更新，当前像素(x，y)的8邻域内随机选取一个位置当前像素(x1，y1)的，再在该位置对应的背景样本集M(x1，y1)中速记选取一个样本v1，用当前像素进行替换，即为vi＝fi(x，y)。
CN202010510090.4A 2020-06-08 2020-06-08 一种大熊猫踱步、吃竹子、发情行为跟踪分析方法 Active CN111666881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010510090.4A CN111666881B (zh) 2020-06-08 2020-06-08 一种大熊猫踱步、吃竹子、发情行为跟踪分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010510090.4A CN111666881B (zh) 2020-06-08 2020-06-08 一种大熊猫踱步、吃竹子、发情行为跟踪分析方法

Publications (2)

Publication Number Publication Date
CN111666881A true CN111666881A (zh) 2020-09-15
CN111666881B CN111666881B (zh) 2023-04-28

Family

ID=72386859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010510090.4A Active CN111666881B (zh) 2020-06-08 2020-06-08 一种大熊猫踱步、吃竹子、发情行为跟踪分析方法

Country Status (1)

Country Link
CN (1) CN111666881B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016527A (zh) * 2020-10-19 2020-12-01 成都大熊猫繁育研究基地 基于深度学习的大熊猫行为识别方法、***、终端及介质
CN113963298A (zh) * 2021-10-25 2022-01-21 东北林业大学 基于计算机视觉的野生动物识别跟踪与行为检测***、方法、设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2015252A1 (en) * 2007-07-08 2009-01-14 Université de Liège Visual background extractor
CN103125443A (zh) * 2013-03-06 2013-06-05 成都大熊猫繁育研究基地 大熊猫适时放对自然交配方法
WO2013149966A1 (en) * 2012-04-02 2013-10-10 Thomson Licensing Method for calibration free gaze tracking using low cost camera
CN104331905A (zh) * 2014-10-31 2015-02-04 浙江大学 一种基于运动物体检测的监控视频摘要提取方法
CN105741319A (zh) * 2016-01-22 2016-07-06 浙江工业大学 基于盲目更新策略和前景模型的改进视觉背景提取方法
CN106571014A (zh) * 2016-10-24 2017-04-19 上海伟赛智能科技有限公司 一种在视频中识别异常动作的方法和***
CA3001063A1 (en) * 2015-10-14 2017-04-20 President And Fellows Of Harvard College A method for analyzing motion of a subject representative of behaviour, and classifying animal behaviour
CN108198207A (zh) * 2017-12-22 2018-06-22 湖南源信光电科技股份有限公司 基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法
CN108230364A (zh) * 2018-01-12 2018-06-29 东南大学 一种基于神经网络的前景物体运动状态分析方法
CN108346160A (zh) * 2017-12-22 2018-07-31 湖南源信光电科技股份有限公司 基于视差图背景差法和Meanshift结合的多运动目标跟踪方法
CN109377517A (zh) * 2018-10-18 2019-02-22 哈尔滨工程大学 一种基于视频追踪技术的动物个体识别***
CN109614928A (zh) * 2018-12-07 2019-04-12 成都大熊猫繁育研究基地 基于有限训练数据的熊猫脸部识别方法
CN109670440A (zh) * 2018-12-14 2019-04-23 央视国际网络无锡有限公司 大熊猫脸的识别方法及装置
US20190197696A1 (en) * 2017-08-04 2019-06-27 Université de Liège Foreground and background detection method
CN110060278A (zh) * 2019-04-22 2019-07-26 新疆大学 基于背景减法的运动目标的检测方法及装置
CN110931024A (zh) * 2020-02-18 2020-03-27 成都大熊猫繁育研究基地 基于音频的圈养大熊猫自然交配结果的预测方法及***
CN111144236A (zh) * 2019-12-10 2020-05-12 华南师范大学 一种蜚蠊交配行为分析的方法、***及存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2015252A1 (en) * 2007-07-08 2009-01-14 Université de Liège Visual background extractor
WO2013149966A1 (en) * 2012-04-02 2013-10-10 Thomson Licensing Method for calibration free gaze tracking using low cost camera
CN103125443A (zh) * 2013-03-06 2013-06-05 成都大熊猫繁育研究基地 大熊猫适时放对自然交配方法
CN104331905A (zh) * 2014-10-31 2015-02-04 浙江大学 一种基于运动物体检测的监控视频摘要提取方法
CA3001063A1 (en) * 2015-10-14 2017-04-20 President And Fellows Of Harvard College A method for analyzing motion of a subject representative of behaviour, and classifying animal behaviour
CN105741319A (zh) * 2016-01-22 2016-07-06 浙江工业大学 基于盲目更新策略和前景模型的改进视觉背景提取方法
CN106571014A (zh) * 2016-10-24 2017-04-19 上海伟赛智能科技有限公司 一种在视频中识别异常动作的方法和***
US20190197696A1 (en) * 2017-08-04 2019-06-27 Université de Liège Foreground and background detection method
CN108198207A (zh) * 2017-12-22 2018-06-22 湖南源信光电科技股份有限公司 基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法
CN108346160A (zh) * 2017-12-22 2018-07-31 湖南源信光电科技股份有限公司 基于视差图背景差法和Meanshift结合的多运动目标跟踪方法
CN108230364A (zh) * 2018-01-12 2018-06-29 东南大学 一种基于神经网络的前景物体运动状态分析方法
CN109377517A (zh) * 2018-10-18 2019-02-22 哈尔滨工程大学 一种基于视频追踪技术的动物个体识别***
CN109614928A (zh) * 2018-12-07 2019-04-12 成都大熊猫繁育研究基地 基于有限训练数据的熊猫脸部识别方法
CN109670440A (zh) * 2018-12-14 2019-04-23 央视国际网络无锡有限公司 大熊猫脸的识别方法及装置
CN110060278A (zh) * 2019-04-22 2019-07-26 新疆大学 基于背景减法的运动目标的检测方法及装置
CN111144236A (zh) * 2019-12-10 2020-05-12 华南师范大学 一种蜚蠊交配行为分析的方法、***及存储介质
CN110931024A (zh) * 2020-02-18 2020-03-27 成都大熊猫繁育研究基地 基于音频的圈养大熊猫自然交配结果的预测方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016527A (zh) * 2020-10-19 2020-12-01 成都大熊猫繁育研究基地 基于深度学习的大熊猫行为识别方法、***、终端及介质
CN112016527B (zh) * 2020-10-19 2022-02-01 成都大熊猫繁育研究基地 基于深度学习的大熊猫行为识别方法、***、终端及介质
CN113963298A (zh) * 2021-10-25 2022-01-21 东北林业大学 基于计算机视觉的野生动物识别跟踪与行为检测***、方法、设备及存储介质

Also Published As

Publication number Publication date
CN111666881B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
Yin et al. Using an EfficientNet-LSTM for the recognition of single Cow’s motion behaviours in a complicated environment
Han et al. Comprehensive machine learning analysis of Hydra behavior reveals a stable basal behavioral repertoire
CN107145862B (zh) 一种基于霍夫森林的多特征匹配多目标跟踪方法
CN105975932B (zh) 基于时间序列shapelet的步态识别分类方法
CN107918772B (zh) 基于压缩感知理论和gcForest的目标跟踪方法
Song et al. Unsupervised Alignment of Actions in Video with Text Descriptions.
CN111046886A (zh) 号码牌自动识别方法、装置、设备及计算机可读存储介质
CN111666881A (zh) 一种大熊猫踱步、吃竹子、发情行为跟踪分析方法
CN109902564A (zh) 一种基于结构相似性稀疏自编码网络的异常事件检测方法
Chen et al. A kinetic energy model based on machine vision for recognition of aggressive behaviours among group-housed pigs
CN111666897A (zh) 基于卷积神经网络的斑石鲷个体识别方法
CN110490055A (zh) 一种基于三重编码的弱监督行为识别定位方法和装置
El-Henawy et al. Cattle identification using segmentation-based fractal texture analysis and artificial neural networks
CN115830490A (zh) 一种群养生猪多目标跟踪及行为统计方法
Lin et al. Bird posture recognition based on target keypoints estimation in dual-task convolutional neural networks
Murari Recurrent 3D convolutional network for rodent behavior recognition
CN115471871A (zh) 一种基于目标检测和分类网络的麻鸭性别分类识别方法
Modolo et al. Learning semantic part-based models from *** images
Perez et al. CNN-based action recognition and pose estimation for classifying animal behavior from videos: A survey
Shen et al. Recognizing scoring in basketball game from AER sequence by spiking neural networks
Xiao et al. Group-housed pigs and their body parts detection with Cascade Faster R-CNN
CN115830078B (zh) 生猪多目标跟踪及行为识别方法、计算机设备与存储介质
El-Henawy et al. A new muzzle classification model using decision tree classifier
Beddiar et al. Vision based abnormal human activities recognition: An overview

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant