CN116071702B - 基于计算机视觉的养猪场交互行为监测管理方法和*** - Google Patents

基于计算机视觉的养猪场交互行为监测管理方法和*** Download PDF

Info

Publication number
CN116071702B
CN116071702B CN202310042610.7A CN202310042610A CN116071702B CN 116071702 B CN116071702 B CN 116071702B CN 202310042610 A CN202310042610 A CN 202310042610A CN 116071702 B CN116071702 B CN 116071702B
Authority
CN
China
Prior art keywords
pig
interaction
vector
model
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310042610.7A
Other languages
English (en)
Other versions
CN116071702A (zh
Inventor
薛素金
李梦炜
杨焜
周怡安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Nongxin Shuzhi Technology Co ltd
Xiamen Nongxin Digital Technology Co ltd
Original Assignee
Xiamen Nongxin Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Nongxin Digital Technology Co ltd filed Critical Xiamen Nongxin Digital Technology Co ltd
Priority to CN202310042610.7A priority Critical patent/CN116071702B/zh
Publication of CN116071702A publication Critical patent/CN116071702A/zh
Application granted granted Critical
Publication of CN116071702B publication Critical patent/CN116071702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Social Psychology (AREA)
  • Mining & Mineral Resources (AREA)
  • Psychiatry (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于计算机视觉的养猪场交互行为监测管理方法和***，其包括：对养猪场的一个以上摄像头的拍摄场景预设待识别区域；拍摄场景标记有一个以上的场景标签，待识别区域标记有一个以上的区域标签；构建基于神经网络的检测模型，通过该检测模型提取待识别区域中的人和/或猪只的特征，以及待识别区域中的物体的特征；计算人和/或猪只的特征向量及物体的位置特征；根据特征向量判断人与物体之间、或猪只与物体之间、或人与猪只之间的交互行为；根据交互行为的判断结果和产生交互行为的拍摄场景对应的场景标签和区域标签，触发生成对应的反馈事件；从而能够对人与猪只、人与物、猪只与物的交互行为进行智能识别，实现智能化管理。

Description

基于计算机视觉的养猪场交互行为监测管理方法和***
技术领域
本发明涉及智能养殖技术领域，特别是一种基于计算机视觉的养猪场交互行为监测管理方法及***。
背景技术
养猪业是我国农业中的重要产业，对保障肉食品安全供应有重要作用，目前我国养猪业正由传统养猪业向现代养猪业转变，无论是养殖模式、区域布局还是生产方式、生产能力都在发生显著变化。
养猪场通常都要求有严格的管理规范，只有这样才能提高猪场的经济效益和市场竞争力。但是，养猪场大都建立在远离市区的地方。为了实现养猪场的远程监督管理，通常在猪场中安装监控***，该监控***在养猪业中主要是以下方面的作用：
（1）对人的监视作用：
通过摄像头所拍摄的图像可以判断猪群状况，以及饲养员是否按科学技术水平在操作，是否尽责。一个工作人员就可以通过摄像头看到多个饲养员的工作情况和众多的猪只的活动情况。
（2）观察猪只的作用：
各猪场基本上都有产仔母猪，猪场方面为了作好接产准备，传统的方式就需专人在猪场看守。尤其是酷寒的冬天，在圈舍里守候的确难为了饲养员，也不符合“以人为本”的要求。通过安装监控器，减轻了人的负担，饲养员可在舒适的办公室、卧室里观察，到时进舍进行接产。
但是，传统的监控***仍然需要工作人员通过摄像头实时观察猪场视频图像，一方面，工作人员人工观察多个猪场圈舍容易产生疏漏；另一方面，监控***无法自动分析人的行为或者猪只的行为，无法对人与猪只、人与物、猪只与物的交互行为进行智能识别、记录和自动判断。
发明内容
本发明的主要目的在于提供了一种基于计算机视觉的养猪场交互行为监测管理方法和***，能够对人与猪只、人与物、猪只与物的交互行为进行智能识别，实现智能化管理。
为实现上述目的，本发明提供了一种基于计算机视觉的养猪场交互行为监测管理方法，其包括以下步骤：
对养猪场的一个以上摄像头的拍摄场景预设待识别区域；所述拍摄场景标记有一个以上的场景标签，所述待识别区域标记有一个以上的区域标签；
构建基于神经网络的检测模型，通过该检测模型提取所述待识别区域中的人和/或猪只的特征，以及所述待识别区域中的物体的特征；
计算所述人和/或猪只的特征向量及所述物体的位置特征；
根据所述特征向量判断所述人与所述物体之间、或所述猪只与所述物体之间、或所述人与所述猪只之间的交互行为；
根据所述交互行为的判断结果和产生所述交互行为的拍摄场景对应的场景标签和区域标签，触发生成对应的反馈事件。
优选的，所述场景标签类型包括养猪场的公开场景和内部场景；所述区域标签类型包括养猪场的过道区域、围栏区域、工作区域；所述待识别区域采用绘制形成或者采用对象识别算法识别有效范围。
优选的，还包括时间标签；所述时间标签包括工序时间、作息时间；所述工序时间中，根据工序类别设置对应的时间长度；所述作息时间包括：仅白天、仅下班、日夜轮岗；根据所述时间标签对所述反馈事件进行事件碎片筛选，生成警报事件。
优选的，所述检测模型由卷积网络构成；所述物体包括人的交互对象和猪只的交互对象，人的交互对象包括机床、拖把、料斗、料带、倒篦的一种以上，猪只的交互对象包括饲料、食槽的一种以上；将人、猪只、物体的图像或视频帧输入所述卷积网络进行训练得到所述检测模型，通过所述检测模型输出得到人、猪只、物体的特征。
优选的，所述人或猪只的特征向量是通过特征向量分析模型预测得到的；所述人的特征向量包括：视线方向、体态朝向、手臂向量；所述猪只的特征向量包括：视线方向、体态朝向、四肢向量；所述特征向量分析模型是基于深度卷积网络构建和训练得到的，以人或猪只的特征点作为输入，以对应的特征向量作为输出，得到对应的人或猪只的头部姿态估计模型、体态朝向预测模型、手臂向量预测模型、四肢向量预测模型；
所述视线方向预测是通过头部姿态估计模型，根据关键点匹配算法将人脸3D模型拟合到摄像头的拍摄视频中，并执行面部对齐，从而预测目标面部的视线方向；
所述体态朝向预测和所述手臂向量预测、所述四肢向量预测是通过基于 2D 关键点上的扩张卷积的全卷积模型预测拍摄视频中的人体或猪只的3D姿势，将拍摄视频的两个以上相邻帧输入时序卷积，输出预先定义的关键位置，得到对应的躯干向量和手臂向量、四肢向量。
进一步的，根据所述特征向量判断交互行为，是通过分别计算所述人与所述物体之间、或所述猪只与所述物体之间、或所述人与所述猪只之间的交互能量，构建交互能量计算模型；所述交互能量计算模型是所述交互能量随时序的累积、衰减模型。
优选的，所述检测模型的输出、所述特征向量分析模型的输出、所述场景标签以及所述区域标签，作为所述交互能量计算模型的输入，经交互能量函数的计算，得到交互能量。
进一步的，所述交互能量的计算公式为：
Figure SMS_1
（1）
其中，Fi=a*Mb（2）
公式（1）中，E是用于表征所述交互能量的能量函数；t表示交互时间点，δt表示交互时长；P、Fi均为向量，P标识位置向量处于激发状态，Fi标识第i个 特征Feature，该i泛指sight, belly, elbow中的任意一个；sight、belly、elbow分别标识人的视线、躯干、手肘的特征向量F或者标识猪只的视线、猪只的躯干以及猪只的四肢特征F；位置的激发状态P根据像素位置判断是否和待识别区域的iou交叠大于预设阈值；特征向量的激发通过向量方向是否指向物体区域来判别；能量函数E由多维变量驱动；
公式（2）中，能量的累积过程Fi根据经验定义为指数形式M标识处于作用域的时间，是t的因变量；系数a和b分别是指数模型的两个超参数，根据不同的交互类型分别取不同的值。
优选的，根据预设的事件生成规则，触发所述反馈事件；并且，对所述人或猪只的交互行为设置冷却时间，指定下一次允许所述交互能量重新累计并激活产生反馈事件的时间。
与所述基于计算机视觉的养猪场交互行为监测管理方法相对应的，本发明提供一种基于计算机视觉的养猪场交互行为监测管理***，其包括：
标签设置模块，用于对养猪场的一个以上摄像头的拍摄场景预设待识别区域；所述拍摄场景标记有一个以上的场景标签，所述待识别区域标记有一个以上的区域标签；
特征提取模块，通过构建基于神经网络的检测模型，通过该检测模型提取所述待识别区域中的人和/或猪只的特征，以及所述待识别区域中的物体的特征；
特征向量计算模块，用于计算所述人和/或猪只的特征向量及所述物体的位置特征；
交互行为分析模块，其根据所述特征向量判断所述人与所述物体之间、或所述猪只与所述物体之间、或所述人与所述猪只之间的交互行为；
事件生成模块，用于根据所述交互行为的判断结果和产生所述交互行为的拍摄场景对应的场景标签和区域标签，触发生成对应的反馈事件。
本发明的有益效果是：
（1）本发明通过对养猪场的各个摄像头对应的拍摄场景设置待识别区域，对待识别区域中的人与猪只、人与物、猪只与物的交互行为进行智能识别、记录和自动判断，并根据判断结果自动生成***的反馈事件，实现智能化管理；
（2）本发明将交互对象的特征进行向量化处理，根据特征向量判断交互对象之间的交互行为，无需工作人员在监控室人工观察记录，极大的提高了工作效率；
（3）本发明还对各个拍摄场景设置对应的场景标签、区域标签、时间标签等，根据交互行为判断结果以及各个对应的标签数据，自动触发生成对应的***事件，无需人工统计和判断分析，提高工作效率的同时，还能够避免人为主观因素导致的各种错误分析，保证了猪只的科学养殖；
（4）本发明不仅检测和判断人与物的交互，还检测和判断猪只与物的交互，从而实现人、猪只、物体的综合交互管理，便于对三者之间的交互行为进行关联，从而生成更加便于管理的***事件，极大的提高了养猪场的现代化管理水平；
（5）本发明通过将场景分解为不同的交互对象，通过交互能量函数定义交互对象之间的交互关系，并推理它们相互作用和动态的结果来替代人工的视觉任务判断，算法更加灵活有效，而且通用性强；
（6）本发明还可对交互行为设置冷却时间，指定下一次允许能量重新累计并激活产生***信号的时间，使得每次***事件能够保持相对独立性，避免因时间和能量的累积导致影响判断结果的鲁棒性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的待识别区域（过道区域）的绘制示意图一；
图2为本发明的待识别区域（圈舍）的绘制示意图二；
图3为本发明的交互对象（人）的视线方向示意图；
图4为本发明的交互对象（人）的手臂向量示意图；
图5为本发明的交互对象（人）的躯干向量示意图；
图6为本发明的交互能量渲染效果图；
图7为本发明的交互能量三维曲面图；
图8为本发明的人员给猪只运输车消毒事件的特征向量示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现代养猪业最明显的特征就是“无人化”管理，只需要几个工作人员，配合多种智能设备，即可远程养殖大数量的肉猪；这一过程中，会涉及到自动投喂机和自动清洗机等等，这些智能化机器可以极大地降低工作人员的工作量；但是，当肉猪数量较多时，工作人员仍需要定时的、高频率的对肉猪状态进行检查；如果能够提供一种远程监控方法，可以进一步的降低工作人员工作量。
现有的远程监控方法大都是基于摄像头的监控***架构，这种方式有专门工作人员进行实时的监控，由于肉猪的异常反应有些时候非常不明显，并且，当视频数量较多时，工作人员很难在第一时间发现肉猪的异常状态；因此，急需对现有的远程监控***进行优化，以降低工作人员的监控压力，提高工作人员监管效率。
为此，本发明的一种基于计算机视觉的养猪场交互行为监测管理方法，其包括以下步骤：
对养猪场的一个以上摄像头的拍摄场景预设待识别区域；所述拍摄场景标记有一个以上的场景标签，所述待识别区域标记有一个以上的区域标签；
构建基于神经网络的检测模型，通过该检测模型提取所述待识别区域中的人和/或猪只的特征，以及所述待识别区域中的物体的特征；
计算所述人和/或猪只的特征向量及所述物体的位置特征；
根据所述特征向量判断所述人与所述物体之间、或所述猪只与所述物体之间、或所述人与所述猪只之间的交互行为；
根据所述交互行为的判断结果和产生所述交互行为的拍摄场景对应的场景标签和区域标签，触发生成对应的反馈事件。
所述反馈事件例如：人员洗消规程是否合规、设备消毒规程是否合规、加料器巡检规程是否合规、猪只进食过程是否正常、猪只是否离栏等等。
采用本发明的方案，不仅能够解决非抽象问题，例如，人员是否出现在了警戒区域；还能够解决抽象问题，例如，人员是否按规定进行了作业，或人员是否对某个对象（如机器）进行了操作或检查。因此，本发明的方法能够推理复杂场景中的对象（即人）如何和关注物体相互作用，支持动态预测，以及对抽象的过程属性进行基本推断，广泛的满足了各种需求，通用性更好。
所述场景标签类型包括养猪场的公开场景和内部场景；所述区域标签类型包括养猪场的过道区域、围栏区域、工作区域；如图1、2所示，所述待识别区域采用绘制形成（例如正方形、长方形、不规则多边形）或者采用对象识别算法识别有效范围（例如沿对象的边界提取待识别区域）。
本实施例中，所述标签除了场景标签和区域标签，还包括时间标签；所述时间标签包括工序时间、作息时间；所述工序时间中，根据工序类别设置对应的时间长度（交互阈值可设置为工序必须持续n秒）；所述作息时间包括：仅白天、仅下班、日夜轮岗；根据所述时间标签对所述反馈事件进行事件碎片筛选，生成警报事件。
警报事件的生成过程举例如下：
①厂区要求工人在饲料间执行换班执勤时，需要检查加料器运转情况，仔细进行5个步骤检查，并做好相应记录，标准的检查步骤耗时约10分钟，换班时间是固定的。
②饲料间摄像头配置预警时段匹配为换班时段，在该时段摄像头发现人后会自动进行预警逻辑；同时参考实际操作规程配置要求工人巡检的最低时间为交互时间；
③摄像头检测到工人交班，开始通知***进行实时视频计算，分析交班片段；
④***通过算法得到人关键点位，生成时序的人员轨迹、人员位置；
⑤通过关键点结合预先定义的连接顺序生成躯干向量，通过面部关键点生成视线向量，通过人员位置生成位置向量；
⑥结合加料器实际位置，实时判断以上多个向量和加料器所在位置是否交叠、或出现指向和被指向关系；
⑦通过能量交互函数在时域上累积计算交互能量和能量衰减；
⑧判断交互能量是否达到阈值，交互时间是否达到要求等。如果满足激发条件则产生有效预警，记录为按要求完成检查交互，生成***记录；如果未达到要求，则作为事件碎片存储在不符合的事件中。
优选的，所述检测模型由卷积网络构成；所述物体包括人的交互对象和猪只的交互对象，人的交互对象包括机床、拖把、料斗、料带、倒篦的一种以上，猪只的交互对象包括饲料、食槽的一种以上；将人、猪只、物体的图像或视频帧输入所述卷积网络进行训练得到所述检测模型，通过所述检测模型输出得到人、猪只、物体的特征。
本实施例中，所述人或猪只的特征向量是通过特征向量分析模型预测得到的；所述人的特征向量包括：视线方向、体态朝向、手臂向量；所述猪只的特征向量包括：视线方向、体态朝向、四肢向量；所述特征向量分析模型是基于深度卷积网络构建和训练得到的，以人或猪只的特征点作为输入，以对应的特征向量作为输出，得到对应的人或猪只的头部姿态估计模型、体态朝向预测模型、手臂向量预测模型、四肢向量预测模型。该特征向量分析模型本质上是一个使用深层全卷积网络构建的用于提取图像特征点的推理模型，使用前经过特定训练数据的调教，使之在推理时可以识别特征点位如鼻子、手腕等，随后在模型后处理阶段根据预定义的连接顺序将各个部位相连接，求出连线的法相向量和方向向量。
所述视线方向预测是通过头部姿态估计模型，根据关键点匹配算法将人脸3D模型拟合到摄像头的拍摄视频中，并执行面部对齐，从而预测目标面部的视线方向（如图3所示）；在该过程中，***输入图像数据，通常为已经检测出的人脸RGB三通道数据，输出信息是预先定义的关键点位置，比如左右眼，眉毛中点，鼻骨等等，此步骤包括卷积网络的算法处理；随后将特征点位全部对应到预先构建的立体头部模型中，使用多点对应关系得到的超定方程求解头部旋转向量R和平移向量T，得到头部位姿；通过预先定义的连接顺序生成头部姿态。
所述体态朝向预测和所述手臂向量预测、所述四肢向量预测是通过基于 2D 关键点上的扩张卷积的全卷积模型预测拍摄视频中的人体或猪只的3D姿势，将拍摄视频的两个以上相邻帧输入时序卷积，输出预先定义的关键位置，得到对应的躯干向量（如图5所示）和手臂向量（如图4所示）、四肢向量；其中，扩张卷积用于得到2d关键点；在该过程中，***输入图像数据，通常为已经检测出的人整体的RGB三通道数据，输出信息是预先定义的关键点位置，比如左手肘，左右肩，左右脚踝等。随后通过时序上的2d关键点再通过时序卷积得到3d姿势。
在另一实施例中，当存在环境光线不佳、影响关键点定位时，还可采用卷积神经网络提取特征，预测内在欧拉角并进行回归。
本实施例中，所述猪只的特征向量的预测方法与所述人的特征向量的预测方法一致，先通过猪关键点位模型预先得到猪只关节点，随后按照预定义的关节点连接顺序构建猪头视野特征向量、猪体态朝向、猪四肢朝向、猪头嘴向量。
所述物体的位置特征是指区域位置。物体是被交互物，例如：食槽、推车、地面、操作阀门等等。被交互物上只累积能量。
进一步的，根据所述特征向量判断交互行为，是通过分别计算所述人与所述物体之间、或所述猪只与所述物体之间、或所述人与所述猪只之间的交互能量，构建交互能量计算模型；所述交互能量计算模型是所述交互能量随时序的累积、衰减模型。
本实施例中，所述检测模型的输出、所述特征向量分析模型的输出、所述场景标签以及所述区域标签，作为所述交互能量计算模型的输入，经交互能量函数的计算，得到交互能量。
所述交互能量表征两个交互对象的交互程度，特征通过在时序上持续生成并输入到所交互对象的个体能量函数，能量大小随具体条件动态改变（如图6所示），触发阈值。每一种交互对象都有其各自的能量激活函数，记录各自的激活状态；其中，所述物体可以是配电箱、输料塔、货柜等狭义上的具体物体，也可以是注入空间区域、地面、天空等不具有具体形态的广义物体。
本实施例中，所述交互能量的计算公式为：
Figure SMS_2
（1）
其中，Fi=a*Mb（2）
公式（1）中，E是用于表征所述交互能量的能量函数；t表示交互时间点，δt表示交互时长；P、Fi均为向量，P标识位置向量处于激发状态，Fi标识第i个 特征Feature，该i泛指sight, belly, elbow中的任意一个；sight、belly、elbow分别标识人的视线、躯干、手肘的特征向量F或者标识猪只的视线、猪只的躯干以及猪只的四肢特征F；位置的激发状态P根据像素位置判断是否和待识别区域的iou交叠大于预设阈值；特征向量的激发通过向量方向是否指向物体区域来判别；
公式（2）中，能量的累积过程Fi根据经验定义为指数形式M标识处于作用域的时间，是t的因变量；系数a和b分别是指数模型的两个超参数，根据不同的交互类型分别取不同的值。
能量函数E由多维变量驱动；如图7所示，由于三维以上数据无法展示，此处只画出其中两个维度的变量（其他维度去常值）时的能量响应曲面。两维自由变量分别选取：1）人的视线特征Sight变量，记做Feature_Sight(简称Feature_S)，和2）垂直方向“头-脚”像素高度Height变量（实际上反映了人头部所处的高度），对于3）能量E建立曲面响应Weight的权重曲面。
本实施例中，所述交互类型包括三种，分别是：瞬时完成型、流程完成型、非接触或接触的检查型。具体的：
瞬时完成型：人携带物品A完成环境任务，如扫地、加料，只要发生即更新状态；
流程完成型：人携带物品A完成针对物品B的特定任务或流程作业，如穿着消毒套装、手持消毒工具A给设备B消毒；再如从A拿出B放到C进行清洗，进入下一工序；
非接触或接触的检查型：人针对物品ABC检查型作业，接触检查操作电脑检查***状态；非接触检查如从过道逐个巡查猪只圈舍情况。
最后，根据预设的事件生成规则，触发所述反馈事件；并且，对所述人或猪只的交互行为设置冷却时间，指定下一次允许所述交互能量重新累计并激活产生反馈事件的时间。随着时间的推进，每个物体实时计算当前的交互能量值，达到阈值即为激活，视作“完成交互”，随后该物体进入冷却状态。
另外，本发明还提供一种基于计算机视觉的养猪场交互行为监测管理***，其包括：
标签设置模块，用于对养猪场的一个以上摄像头的拍摄场景预设待识别区域；所述拍摄场景标记有一个以上的场景标签，所述待识别区域标记有一个以上的区域标签；
特征提取模块，通过构建基于神经网络的检测模型，通过该检测模型提取所述待识别区域中的人和/或猪只的特征，以及所述待识别区域中的物体的特征；
特征向量计算模块，用于计算所述人和/或猪只的特征向量及所述物体的位置特征；
交互行为分析模块，其根据所述特征向量判断所述人与所述物体之间、或所述猪只与所述物体之间、或所述人与所述猪只之间的交互行为；
事件生成模块，用于根据所述交互行为的判断结果和产生所述交互行为的拍摄场景对应的场景标签和区域标签，触发生成对应的反馈事件。
以“人员给猪只运输车消毒（图8）”事件为例进一步分析，经过上述算法过程分析10s视频片段的能量交互值大小。随后通过安德鲁斯曲线聚类分析了交互能量聚类情况。结果表明，当“人、车共同出现在视频片段”的事件发生时，交互能量处于270～300区间。随后结合实际场景可以界定，交互能量270的区间为人员进行一般巡查、视察或路过的状态，不应算作人员消毒；相比之下，交互能量超过300的区间为人员进行了实际、有效的消毒。且通过大量的事件碎片统计分析，误差Error、绝对误差MAE和相对误差RE都处于合理范围内：按照3Σ法则，99.6%情况下最大***误判百分比控制在20%以内，50%以上情况误判控制在约5-8%范围内。
综上，本发明通过将养猪场的各个场景分解为不同的交互对象，并定义广义“交互”关系，引出交互能量函数，并推理它们相互作用和动态的结果来解决这类问题。本发明引入的交互框架作为复杂***中分析对象和关系的推理的一个灵活而有效的方法。结果证明，这是一个可以广泛适用于各种视觉任务判断的新***。这个框架可以通过学习能量函数推断物理交互，并不用通过具体规则硬编码交互事件如何发生。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于***实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.一种基于计算机视觉的养猪场交互行为监测管理方法，其特征在于，包括以下步骤：
对养猪场的一个以上摄像头的拍摄场景预设待识别区域；所述拍摄场景标记有一个以上的场景标签，所述待识别区域标记有一个以上的区域标签；
构建基于神经网络的检测模型，通过该检测模型提取所述待识别区域中的人和/或猪只的特征，以及所述待识别区域中的物体的特征；
计算所述人和/或猪只的特征向量及所述物体的位置特征向量；
根据所述特征向量判断所述人与所述物体之间、或所述猪只与所述物体之间、或所述人与所述猪只之间的交互行为；
根据所述交互行为的判断结果和产生所述交互行为的拍摄场景对应的场景标签和区域标签，触发生成对应的反馈事件；
其中，所述人和/或猪只的特征向量是通过特征向量分析模型预测得到的；所述人的特征向量包括：视线方向、体态朝向、手臂向量；所述猪只的特征向量包括：视线方向、体态朝向、四肢向量；所述特征向量分析模型是基于深度卷积网络构建和训练得到的，以人的特征点作为输入，以对应的特征向量作为输出，得到对应的人的头部姿态估计模型、体态朝向预测模型、手臂向量预测模型；或者，以猪只的特征点作为输入，以对应的特征向量作为输出，得到对应的猪只的头部姿态估计模型、体态朝向预测模型、四肢向量预测模型；
根据所述特征向量判断交互行为，是通过分别计算所述人与所述物体之间、或所述猪只与所述物体之间、或所述人与所述猪只之间的交互能量，构建交互能量计算模型；
所述交互能量的计算公式为：
Figure QLYQS_1
（1）
其中，Fi=a*Mb（2）
公式（1）中，E是用于表征所述交互能量的能量函数；ti表示交互时间点，δt表示交互时长；
Figure QLYQS_2
、/>
Figure QLYQS_5
、/>
Figure QLYQS_7
、/>
Figure QLYQS_9
均为向量，/>
Figure QLYQS_11
表示位置特征向量处于激发状态，Fi表示第i个 特征Feature，该i泛指 sight, belly, elbow中的任意一个；/>
Figure QLYQS_12
、/>
Figure QLYQS_13
、/>
Figure QLYQS_3
分别表示人的视线、体态朝向以及手肘的特征向量，或者，/>
Figure QLYQS_4
、/>
Figure QLYQS_6
、/>
Figure QLYQS_8
表示猪只的视线、猪只的体态朝向以及猪只的四肢特征向量；位置特征向量的激发状态/>
Figure QLYQS_10
根据像素位置判断是否和待识别区域的iou交叠大于预设阈值；特征向量的激发通过向量方向是否指向物体区域来判别；能量函数E由多维变量驱动；
公式（2）中，能量的累积过程中，Fi根据经验定义为指数形式，M表示处于作用域的时间，是ti的因变量；系数a和b分别是指数模型的两个超参数，根据不同的交互类型分别取不同的值。
2.根据权利要求1所述的一种基于计算机视觉的养猪场交互行为监测管理方法，其特征在于：所述场景标签类型包括养猪场的公开场景和内部场景；所述区域标签类型包括养猪场的过道区域、围栏区域、工作区域；所述待识别区域采用绘制形成或者采用对象识别算法识别有效范围。
3.根据权利要求2所述的一种基于计算机视觉的养猪场交互行为监测管理方法，其特征在于：还包括时间标签；所述时间标签包括工序时间、作息时间；所述工序时间中，根据工序类别设置对应的时间长度；所述作息时间包括：仅白天、仅下班、日夜轮岗；根据所述时间标签对所述反馈事件进行事件碎片筛选，生成警报事件。
4.根据权利要求1所述的一种基于计算机视觉的养猪场交互行为监测管理方法，其特征在于：所述检测模型由卷积网络构成；所述物体包括人的交互对象和猪只的交互对象，人的交互对象包括机床、拖把、料斗、料带、倒篦的一种以上，猪只的交互对象包括饲料、食槽的一种以上；将人、猪只、物体的图像或视频帧输入所述卷积网络进行训练得到所述检测模型，通过所述检测模型输出得到人、猪只、物体的特征。
5.根据权利要求1所述的一种基于计算机视觉的养猪场交互行为监测管理方法，其特征在于：所述视线方向预测是通过头部姿态估计模型，根据关键点匹配算法将人脸3D模型拟合到摄像头的拍摄视频中，并执行面部对齐，从而预测目标面部的视线方向；
所述人的体态朝向预测和手臂向量预测是通过基于 2D 关键点上的扩张卷积的全卷积模型预测拍摄视频中的人体的3D姿势，将拍摄视频的两个以上相邻帧输入时序卷积，输出预先定义的关键位置，得到对应的体态朝向向量和手臂向量；
所述猪只的体态朝向预测和四肢向量预测是通过基于 2D 关键点上的扩张卷积的全卷积模型预测拍摄视频中的猪只的3D姿势，将拍摄视频的两个以上相邻帧输入时序卷积，输出预先定义的关键位置，得到对应的体态朝向向量和四肢向量。
6.根据权利要求5所述的一种基于计算机视觉的养猪场交互行为监测管理方法，其特征在于：所述交互能量计算模型是所述交互能量随时序的累积、衰减模型。
7.根据权利要求6所述的一种基于计算机视觉的养猪场交互行为监测管理方法，其特征在于：所述检测模型的输出、所述特征向量分析模型的输出、所述场景标签以及所述区域标签，作为所述交互能量计算模型的输入，经交互能量函数的计算，得到交互能量。
8.根据权利要求1所述的一种基于计算机视觉的养猪场交互行为监测管理方法，其特征在于：根据预设的事件生成规则，触发所述反馈事件；并且，对所述人或猪只的交互行为设置冷却时间，指定下一次允许所述交互能量重新累计并激活产生反馈事件的时间。
9.一种基于计算机视觉的养猪场交互行为监测管理***，其特征在于，包括：
标签设置模块，用于对养猪场的一个以上摄像头的拍摄场景预设待识别区域；所述拍摄场景标记有一个以上的场景标签，所述待识别区域标记有一个以上的区域标签；
特征提取模块，通过构建基于神经网络的检测模型，通过该检测模型提取所述待识别区域中的人和/或猪只的特征，以及所述待识别区域中的物体的特征；
特征向量计算模块，用于计算所述人和/或猪只的特征向量及所述物体的位置特征向量；
交互行为分析模块，其根据所述特征向量判断所述人与所述物体之间、或所述猪只与所述物体之间、或所述人与所述猪只之间的交互行为；
事件生成模块，用于根据所述交互行为的判断结果和产生所述交互行为的拍摄场景对应的场景标签和区域标签，触发生成对应的反馈事件；
其中，所述人和/或猪只的特征向量是通过特征向量分析模型预测得到的；所述人的特征向量包括：视线方向、体态朝向、手臂向量；所述猪只的特征向量包括：视线方向、体态朝向、四肢向量；所述特征向量分析模型是基于深度卷积网络构建和训练得到的，以人的特征点作为输入，以对应的特征向量作为输出，得到对应的人的头部姿态估计模型、体态朝向预测模型、手臂向量预测模型；或者，以猪只的特征点作为输入，以对应的特征向量作为输出，得到对应的猪只的头部姿态估计模型、体态朝向预测模型、四肢向量预测模型；
根据所述特征向量判断交互行为，是通过分别计算所述人与所述物体之间、或所述猪只与所述物体之间、或所述人与所述猪只之间的交互能量，构建交互能量计算模型；
所述交互能量的计算公式为：
Figure QLYQS_14
（1）
其中，Fi=a*Mb（2）
公式（1）中，E是用于表征所述交互能量的能量函数；ti表示交互时间点，δt表示交互时长；
Figure QLYQS_16
、/>
Figure QLYQS_18
、/>
Figure QLYQS_20
、/>
Figure QLYQS_22
均为向量，/>
Figure QLYQS_24
表示位置特征向量处于激发状态，Fi表示第i个特征Feature，该i泛指sight, belly, elbow中的任意一个；/>
Figure QLYQS_25
、/>
Figure QLYQS_26
、/>
Figure QLYQS_15
分别表示人的视线、体态朝向以及手肘的特征向量，或者，/>
Figure QLYQS_17
、/>
Figure QLYQS_19
、/>
Figure QLYQS_21
表示猪只的视线、猪只的体态朝向以及猪只的四肢特征向量；位置特征向量的激发状态/>
Figure QLYQS_23
根据像素位置判断是否和待识别区域的iou交叠大于预设阈值；特征向量的激发通过向量方向是否指向物体区域来判别；能量函数E由多维变量驱动；
公式（2）中，能量的累积过程中，Fi根据经验定义为指数形式，M表示处于作用域的时间，是ti的因变量；系数a和b分别是指数模型的两个超参数，根据不同的交互类型分别取不同的值。
CN202310042610.7A 2023-01-28 2023-01-28 基于计算机视觉的养猪场交互行为监测管理方法和*** Active CN116071702B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310042610.7A CN116071702B (zh) 2023-01-28 2023-01-28 基于计算机视觉的养猪场交互行为监测管理方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310042610.7A CN116071702B (zh) 2023-01-28 2023-01-28 基于计算机视觉的养猪场交互行为监测管理方法和***

Publications (2)

Publication Number Publication Date
CN116071702A CN116071702A (zh) 2023-05-05
CN116071702B true CN116071702B (zh) 2023-06-27

Family

ID=86179739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310042610.7A Active CN116071702B (zh) 2023-01-28 2023-01-28 基于计算机视觉的养猪场交互行为监测管理方法和***

Country Status (1)

Country Link
CN (1) CN116071702B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116451331B (zh) * 2023-06-15 2023-09-12 厦门农芯数字科技有限公司 一种猪场数字孪生模型的管理方法、装置及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763429A (zh) * 2021-09-08 2021-12-07 广州市健坤网络科技发展有限公司 基于视频的猪只行为识别***及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105807926B (zh) * 2016-03-08 2019-06-21 中山大学 一种基于三维连续动态手势识别的无人机人机交互方法
CN112633159B (zh) * 2020-12-22 2024-04-12 北京迈格威科技有限公司 人-物交互关系识别方法、模型训练方法及对应装置
WO2022187251A1 (en) * 2021-03-01 2022-09-09 Waymo Llc Generating scene flow labels from point clouds using object labels
CN113963315A (zh) * 2021-11-16 2022-01-21 重庆邮电大学 一种复杂场景下实时视频多人行为识别方法及***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763429A (zh) * 2021-09-08 2021-12-07 广州市健坤网络科技发展有限公司 基于视频的猪只行为识别***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于交互式条件随机场的RGB-D图像语义分割;左向梅;赵振;苟婷婷;;计算机应用与软件(03);全文 *

Also Published As

Publication number Publication date
CN116071702A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN108990831B (zh) 一种牲畜健康监控方法和***
CN111507308B (zh) 一种基于视频识别技术的变电站安全监控***及方法
US20200111340A1 (en) Surveillance system and method for predicting patient falls using motion feature patterns
CN104936439B (zh) 用于预测对象状态的结果的***和方法
CN116071702B (zh) 基于计算机视觉的养猪场交互行为监测管理方法和***
US11003916B2 (en) Systems and methods for object historical association
CN110022379A (zh) 一种牲畜监控***及方法
CN112000051A (zh) 一种基于物联网的畜牧养殖管理***
CN110032152A (zh) 一种基于物联网的智能车间管理***及使用方法
CN111126217A (zh) 基于智能识别的输电线路智能运维管理***
KR102425523B1 (ko) 모돈 이상징후 포착 및 관리 클라우드 서비스 방법 및 장치
CN112464882A (zh) 连续动作的识别方法、装置、介质及设备
CN113344152A (zh) 一种奶品全链条生产信息智能检测上传***及方法
CN112650335A (zh) 一种基于大数据挖掘的能耗智能管控***及方法
CN112702570A (zh) 一种基于多维行为识别的安防管理***
CN115567690A (zh) 一种自动识别现场作业危险点的智慧监控***
US20210271217A1 (en) Using Real Time Data For Facilities Control Systems
CN116682034A (zh) 一种复杂生产作业场景下危险行为检测方法
KR102425521B1 (ko) 영상정보 분석 기반 방역 시스템 및 그 이용 방법
CN115240277A (zh) 安检行为的监控方法、装置、电子设备及存储介质
CN105867239A (zh) 一种带有气体传感器的物联网前端设备及农场监管方法
CN111738681A (zh) 一种基于深度学习及智能插座的消毒行为智能判定***及方法
CN111652911B (zh) 目标监控方法、装置和设备
Anderson et al. Extension of a soft-computing framework for activity analysis from linguistic summarizations of video
CN109699518A (zh) 一种基于机器视觉的动物集装箱自动巡检***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231108

Address after: A1, Unit 1601, No. 50, Chengyi North Street, Phase III, Software Park, Jimei District, Xiamen, Fujian Province, 361000

Patentee after: Xiamen Nongxin Digital Technology Co.,Ltd.

Patentee after: Beijing Nongxin Shuzhi Technology Co.,Ltd.

Address before: A1, Unit 1601, No. 50, Chengyi North Street, Phase III, Software Park, Jimei District, Xiamen, Fujian Province, 361000

Patentee before: Xiamen Nongxin Digital Technology Co.,Ltd.