CN113920138A - 一种基于rgb-d相机的奶牛体尺检测装置及其检测方法 - Google Patents

一种基于rgb-d相机的奶牛体尺检测装置及其检测方法 Download PDF

Info

Publication number
CN113920138A
CN113920138A CN202111211000.2A CN202111211000A CN113920138A CN 113920138 A CN113920138 A CN 113920138A CN 202111211000 A CN202111211000 A CN 202111211000A CN 113920138 A CN113920138 A CN 113920138A
Authority
CN
China
Prior art keywords
cow
rgb
camera
image
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111211000.2A
Other languages
English (en)
Inventor
张红涛
谭联
王宇
张震
闫跃飞
李忠洋
邴丕彬
顾波
刘新宇
翟浩然
张雨鑫
罗一铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Cow Performance Test Co ltd
North China University of Water Resources and Electric Power
Original Assignee
Henan Cow Performance Test Co ltd
North China University of Water Resources and Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Cow Performance Test Co ltd, North China University of Water Resources and Electric Power filed Critical Henan Cow Performance Test Co ltd
Priority to CN202111211000.2A priority Critical patent/CN113920138A/zh
Publication of CN113920138A publication Critical patent/CN113920138A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RGB‑D相机的奶牛体尺检测装置及其检测方法，属于畜牧信息化技术领域，包括下述步骤：在实验场地中搭建奶牛图像采集平台，获取目标图像；对RGB图像进行处理，实现奶牛的身份识别；对RGB图像、点云图像进行处理，实现RGB和点云的配准融合；对上述步骤的融合点云图像进行处理，实现奶牛体尺的自动检测。本发明通过构建RGB‑D相机的奶牛图像采集平台，基于图像处理、模式识别实现非接触式的奶牛体尺自动检测。提高了检测的自动化程度，大大缓解了人工检测的工作量，解决了奶牛体尺和身份准确对应的问题。

Description

一种基于RGB-D相机的奶牛体尺检测装置及其检测方法
技术领域
本发明属于畜牧信息化技术领域，具体涉及一种基于RGB-D相机的奶牛 体尺检测装置及检测方法。
背景技术
我国是一个发展中的农业大国，畜牧业作为现代农业的重要组成部分， 在推进农业产业结构调整，提高城乡居民生活质量方面具有重要的作用。近 年来奶牛养殖业得到了快速发展，从传统的散养模式逐步过渡到规模化、集 约化养殖模式。在传统养殖模式中主要依靠人工来获取奶牛各种体尺数据， 需要大量的时间和人力投入，已远远不能满足现代化奶牛养殖业的发展需求， 必须依靠以信息技术为支撑的精准养殖，实现奶牛养殖的自动化是现代规模 化奶牛养殖的发展趋势。
奶牛体尺的自动检测是奶牛养殖现代化技术的必然发展方向。在奶牛养 殖过程中，奶牛的体尺参数不仅可以反应奶牛的生长发育状况，还可以反应 奶牛的繁殖能力、产奶能力等多种性能指标。
目前，测量奶牛体尺参数的方法有接触式测量和非接触式测量。传统的 接触式测量是由专业人员用皮尺、测杖、圆形触测器等工具对奶牛进行各项 体尺性状的测量，该法工作量较大、费时费力，甚至出现奶牛攻击人的情况； 另外也会由于工作人员测量经验的差异，导致测量的结果偏差较大。非接触 式测量往往以常见的单目摄像头为主进行奶牛的体尺检测，这种测量方法受 到外界光照、环境和奶牛位姿限制较多，以及不易获取奶牛体型表面曲面数 据，可测量的体尺指标较少。
近年来，随着计算机、电子产业、立体视觉技术的快速发展，非接触式 测量也出现了基于立体视觉技术进行奶牛的体尺检测，这种测量方法与人工 检测相比，具有更高的效率，能够避免测量过程中主观因素的影响，同时能 够避免奶牛的应激反应，但目前仅利用点云数据会出现奶牛边缘信息缺失或 不全的缺点，造成检测的奶牛体尺精度偏低，检测的体尺指标数量也有待于 进一步提高。在奶牛的非接触体尺测量中，经常会出现奶牛的耳标脱落、牛 头摆动等状况导致奶牛身份识别失败、识别不准等弊端。随着计算机视觉技 术的快速发展，相关学者提出基于图像算法的奶牛自动识别方式，但是识别 正确率还处在较低水平。
发明内容
本发明的目的在于提供一种基于RGB-D相机的奶牛体尺检测装置及检测 方法，通过构建RGB-D相机的奶牛图像采集平台，基于图像处理、模式识别 实现非接触式的奶牛体尺自动检测。
为实现上述目的，本发明提供如下技术方案：
一种基于RGB-D相机的奶牛体尺检测装置：
包括奶牛通道、RGB-D相机、红外传感器和计算机；
所述奶牛通道由左右两侧横杆围栏构成，所述奶牛通道单次只允许一头 奶牛通过；
所述RGB-D相机安装在所述奶牛通道的一侧，所述RGB-D相机是由3D相 机和RGB相机组合构成，并与计算机相连，将采集的点云图像和RGB图像上 传计算机；
所述红外传感器安装在所述奶牛通道的上横杆围栏上，与计算机设备相 连，用于判断奶牛是否处于最佳拍摄位置，发出采集图像信号；
所述计算机对接收到的RGB图像，利用奶牛的黑白花纹特征进行奶牛的 身份识别，对接收到的点云图像，依据奶牛体型和颜色特征，对点云图像和 RGB图像进行融合处理分析实现非接触式的奶牛体尺检测。
其中，优选地，所述3D相机成像的坐标***x轴正方向水平向右、y轴 正方向竖直向下、z轴正方向垂直向后。
一种基于RGB-D相机的奶牛体尺检测方法，包括下述步骤：
A、在实验场地中搭建奶牛图像采集平台，获取目标图像，具体包括以下 步骤：
a1：搭建采集奶牛通道：所述采集奶牛通道单次只允许一头奶牛通过； 在奶牛通道上安装红外传感器来判断奶牛是否处于最佳拍摄位置，当红外传 感器检测到奶牛通过通道时，发出采集图像指令；
a2：搭建采集图像设备：将RGB-D相机安装在支架上并设置于奶牛通道 的一侧，并将RGB-D相机连接于计算机上；接收到采集图像指令，利用RGB 相机获取RGB图像，并将RGB图像传输给计算机设备，利用3D相机进行获取 点云图像，并将点云图像传输给计算机设备；
B、对所述步骤a2的RGB图像进行处理，实现奶牛的身份识别；
C、对所述步骤a2的RGB图像、点云图像进行处理，实现RGB和点云的配 准融合；
D、对所述步骤C的融合点云图像进行处理，实现奶牛体尺的自动检测。
其中，所述步骤B具体包括以下步骤：
b1：图像预处理：对所述步骤a2的RGB图像进行图像归一化和滤波预处 理；
b2：图像分割：对所述步骤a2的RGB图像进行边缘分割、区域分割等操 作，提取奶牛腹部区域；
b3：图像特征提取：对步骤b2的RGB图像经过智能算法进行特征数据的 提取，并对特征数据进行降维优化，构建奶牛个体分类识别的特征空间；
b4：通过神经网络分类器、支持向量机分类器或深度学习技术，构建所 提取的奶牛黑白花纹特征空间与奶牛个体的关系模型，并保证模型识别精度 在95％以上。
其中，所述b3步骤中特征数据包括奶牛黑白花纹的纹理特征和颜色特征。
其中，所述步骤C具体包括以下步骤：
c1：相机标定：基于OpenCV进行对RGB相机和3D相机的标定，求取两 个相机的参数和相对位置；
c2：图像的配准融合：利用c1步骤相机的参数，进行RGB相机和3D相 机坐标系间的转换，可将3D相机点云直接投影到RGB相机上。
6.根据权利要求3所述的一种基于RGB-D相机的奶牛体尺检测方法，其 特征在于所述步骤D具体包括以下步骤：
d1：图像预处理：对所述步骤C的融合点云图像去除地面噪声、奶牛通道、 背景环境离散点的预处理，并提取出地面模型的参数；
d2：提取奶牛点云：对所述步骤d1的融合点云图像提取其颜色特征、深 度特征和三维曲面法线特征，去除所述步骤d1的复杂背景、离散点等干扰， 并分割提取出奶牛的点云；
d3：奶牛特征点提取：对所述步骤d2的点云图像，依据奶牛身体几何外 形和颜色特征，提取奶牛身体的特征点。
d4：奶牛体尺检测：通过空间距离的计算，可实现奶牛体尺的自动检测。
其中，所述步骤d3的提取奶牛身体的特征点如下：
2.1：利用直通滤波方法提取目标区域：通过对整体奶牛点云进行三维可 视化发现，奶牛身体的特征点基本位于奶牛的肩部、腹部、尾部、后肢区域， 利用直通滤波方法提取这四部分的点云数据；
2.2：在奶牛点云的肩部、腹部、尾部、后肢区域，基于颜色特征、深度 特征和三维曲面法线特征提取奶牛耆甲点、体深上点、体深下点等特征点； 基于深度特征、形态特征利用寻找极值点的方法提取特征点，包括奶牛肩端 点、腹宽点、腰角点、坐骨结节点和后肢飞节点；
2.3：提取所述步骤2.2中的耆甲点、体深上点和体深下点，构建奶牛身 体对称面的平面方程；
2.4：利用空间中距离方程进行计算奶牛的体尺参数：通过利用所述步骤 D的地面平面方程、所述步骤2.3的奶牛身体对称面的平面方程、所述步骤 2.2的奶牛身体的特征点，通过计算空间中的距离来进行相对应的奶牛体尺检 测。
有益效果
本发明提供了一种基于RGB-D相机的奶牛体尺检测装置及检测方法，与 现有技术相比，具备以下有益效果：
(1)本发明利用可见光相机获取奶牛RGB图像，通过奶牛的黑白花纹 特征进行奶牛的身份识别，且使得模型识别精度在95％以上，为奶牛个体的 体尺检测提供了身份信息；同时解决了耳标脱落、奶牛头部摇摆等所造成奶 牛身份鉴定失败的问题。
(2)本发明通过对RGB相机获取的高分辨率像素信息和3D相机获取的 点云信息进行图像融合，基于奶牛的颜色特征、深度特征和三维曲面法线特 征可以更加精确的提取出奶牛个体的点云数据，解决了RGB相机易受光照、 运动目标与背景颜色相近时无法检测等缺点，解决了3D相机的分辨率较低、 目标边缘噪声大等缺点。
(3)本发明利用3D成像技术自动测定奶牛体尺参数，解决了传统的利 用皮尺、测杖、圆形触测器等工具测量奶牛体尺工作量大、奶牛攻击人等问 题，也保护了奶牛的正常生活习性，还解决了通过单目摄像机测量奶牛体尺 只获取单面图像数据导致体尺指标测定较少的缺陷。
(4)本发明利用3D成像技术自动测定奶牛体尺参数，与现有的基于立 体视觉技术的奶牛体尺检测相比，通过奶牛RGB和点云图像的融合，基于颜 色特征、深度特征和三维曲面法线特征实现奶牛体高、体深、腰强度等多个 指标参数的自动计算，基于深度特征和形态特征实现奶牛体长、体斜长、肩 宽、腹宽、尻宽、尻角度、后肢侧视等多个指标参数的自动计算。本发明测 定参数多，且多个指标采用RGB和点云图像的融合的数据进行测定，使体尺参数的平均相对误差控制在3％以内。
(5)本发明装置操作简单方便，功能完善，稳定可靠。可在非接触情况 下，实现奶牛的身份鉴定和体尺检测，并使奶牛身份和体尺信息能够一一对 应，提高了检测的自动化程度，大大缓解了人工检测的工作量，解决了奶牛 体尺和身份准确对应的问题。
附图说明
图1为本发明检测装置的结构示意图。
图2为本发明检测方法的框架图。
图3为本发明的奶牛体尺测点示意图。
图1中，1-红外传感器，2-奶牛通道，3-RGB相机，4-3D相机，5-相机 支架，6-计算机。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例提供一种基于RGB-D相机的奶牛体尺检测装置：
包括奶牛通道2、RGB-D相机、红外传感器1和计算机6；
所述奶牛通道2由左右两侧横杆围栏构成，所述奶牛通道2单次只允许 一头奶牛通过；其中所述奶牛通道2由左右两侧横杆围栏组成，单侧上下横 杆围栏的高度依次为1.2米、0.6米，双侧横杆围栏的宽度为1米。
所述RGB-D相机固定在朾机支架5上，安装在所述奶牛通道2的一侧， 所述RGB-D相机是由3D相机4和RGB相机3组合构成，并与计算机6相连， 将采集的点云图像和RGB图像上传计算机6；所述RGB-D相机距离地面高1米、 距离奶牛通道2 1.9米；所述3D相机4成像的坐标***x轴正方向水平向右、 y轴正方向竖直向下、z轴正方向垂直向后，3D相机4的分辨率大小为 640×480；所述RGB相机3的分辨率大小为2048×1536。
所述红外传感器1安装在所述奶牛通道2的上横杆围栏上，与计算机6 设备相连，用于判断奶牛是否处于最佳拍摄位置，发出采集图像信号；所述 红外传感器1安装距离RGB-D相机水平方向向右0.75米处。
所述计算机6对接收到的RGB图像，利用奶牛的黑白花纹特征进行奶牛 的身份识别，对接收到的点云图像，依据奶牛体型和颜色特征，对点云图像 和RGB图像进行融合处理分析实现非接触式的奶牛体尺检测。
与上述实施例提供的一种基于RGB-D相机的奶牛体尺检测装置相对应， 本发明还提供一种基于RGB-D相机的奶牛体尺检测方法的实施例。图2为本 发明检测方法的框架图，包括以下步骤：
A、在实验场地中搭建奶牛图像采集平台，获取目标图像，具体包括以下 步骤：
a1：搭建采集奶牛通道：所述采集奶牛通道单次只允许一头奶牛通过； 在奶牛通道上安装红外传感器来判断奶牛是否处于最佳拍摄位置，当红外传 感器检测到奶牛通过通道时，发出采集图像指令；
a2：搭建采集图像设备：将RGB-D相机安装在支架上并设置于奶牛通道 的一侧，并将RGB-D相机连接于计算机上；接收到采集图像指令，利用RGB 相机获取RGB图像，并将RGB图像传输给计算机设备，利用3D相机进行获取 点云图像，并将点云图像传输给计算机设备；
B、对所述步骤a2的RGB图像进行处理，实现奶牛的身份识别，包括以下 步骤：
b1：图像预处理：对所述步骤a2的RGB图像进行图像归一化和滤波预处 理；
b2：图像分割：对所述步骤a2的RGB图像进行边缘分割、区域分割等操 作，提取奶牛腹部区域；
b3：图像特征提取：对步骤b2的RGB图像经过智能算法进行特征数据的 提取，并对特征数据进行降维优化，构建奶牛个体分类识别的特征空间；所 述b3步骤中特征数据包括奶牛黑白花纹的纹理特征和颜色特征；
b4：通过神经网络分类器、支持向量机分类器或深度学习等技术，构建 所提取的奶牛黑白花纹特征空间与奶牛个体的关系模型，并保证模型识别精 度在95％以上。
C、对所述步骤a2的RGB图像、点云图像进行处理，实现RGB和点云的配 准融合，包括以下步骤：
c1：相机标定：基于OpenCV进行对RGB相机和3D相机的标定，求取两 个相机的参数和相对位置；
c2：图像的配准融合：利用c1步骤相机的参数，进行RGB相机和3D相 机坐标系间的转换，可将3D相机点云直接投影到RGB相机上。
D、对所述步骤C的融合点云图像进行处理，实现奶牛体尺的自动检测。 具体包括以下步骤：
d1：图像预处理：对所述步骤C的融合点云图像去除地面噪声、奶牛通道、 背景环境离散点的预处理，并提取出地面模型的参数；
d2：提取奶牛点云：对所述步骤d1的融合点云图像提取其颜色特征、深 度特征和三维曲面法线特征，去除所述步骤d1的复杂背景、离散点等干扰， 并分割提取出奶牛的点云；
d3：奶牛特征点提取：对所述步骤d2的点云图像，依据奶牛身体几何外 形和颜色特征，提取奶牛身体的特征点。
d4：奶牛体尺检测：通过空间距离的计算，可实现奶牛体尺的自动检测。
所述步骤d3的提取奶牛身体的特征点如下：
2.1：利用直通滤波方法提取目标区域：通过对整体奶牛点云进行三维可 视化发现，奶牛身体的特征点基本位于奶牛的肩部、腹部、尾部、后肢区域， 利用直通滤波方法提取这四部分的点云数据。
步骤2.1所述采用直通滤波方法提取目标区域：在明确目标区域的前提 下，通过在指定空间维度上设置阈值范围，将该维度上的数据分在阈值范围 与不在阈值范围内，从而选择过滤与否，即可快速获取目标区域点云。
2.2：在奶牛点云的肩部、腹部、尾部、后肢区域，基于颜色特征、深度 特征和三维曲面法线特征提取奶牛耆甲点、体深上点、体深下点等特征点； 基于深度特征、形态特征利用寻找极值点的方法提取奶牛肩端点、腹宽点、 腰角点、坐骨结节点、后肢飞节点等特征点。
步骤2.2所述提取耆甲点、肩端点：在步骤2.1提取奶牛肩部区域中，提 取奶牛的RGB颜色特征，计算相邻或者相近的相素点之间色彩差值。进行循 环N1次，不断寻找点云坐标y的最小值和色彩差值点(即耆甲点M1)，其中 N1为奶牛肩部区域点云的个数。在提取耆甲点的基础上，以耆甲点x坐标为 基准进行左右扩展5个点云进行直通滤波缩小奶牛肩部区域，再进行循环N2 次，不断寻找点云坐标z的最小值(即肩端点M2)，其中N2为缩小后奶牛肩 部区域点云的个数。
步骤2.2所述提取体深上点、体深下点、腹宽点：在步骤2.1提取奶牛腹 部区域中，提取奶牛的RGB颜色特征，计算相邻或者相近的相素点之间色彩 差值。进行循环N3次，不断寻找点云坐标y的最小值、最大值和色彩差值点 ((即体深上点M3、体深下点M4)，同时不断寻找点云坐标z的最小值(即腹 端点M5)，其中N3为奶牛腹部区域点云的个数。
步骤2.2所述提取坐骨结节点：在步骤2.1提取奶牛尾部区域中，进行循 环N4次，提取尾部区域的最高点列，并计算最高点列y坐标的两个极值点(即 腰角点M6、坐骨结节点M7)其中N4为奶牛尾部区域点云的个数。
步骤2.2所述提取后肢飞节点：在步骤2.1提取奶牛后肢区域中，进行循 环N5次，不断寻找点云坐标x的最大值(即后肢飞节点M8)，其中N5为奶 牛后肢区域点云的个数。
2.3：提取所述步骤2.2中的耆甲点、体深上点和体深下点，构建奶牛身 体对称面的平面方程。
步骤2.3选取耆甲点、体深上点和体深下点坐标建立奶牛身体对称面的平 面方程：三个点云坐标P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)，可设奶牛身体对 称面的平面方程为：
A1(x-x1)+B1(y-y1)+C1(z-z1)＝0。
其中：A1＝(y3-y1)×(z3-z1)-(z2-z1)×(y3-y1)B1＝(x3-x1)×(z2-z1)-(x2-x1)×(z3-z1)
C1＝(y3-y1)×(x2-x1)-(x3-x1)×(y2-y1)
奶牛身体对称面的平面方程为：A1x+B1y+C1z+D1＝0。其中， D1＝-(A1x1+B1y1+C1z1)。
2.4：利用空间中距离方程进行计算奶牛的体尺参数：通过利用所述步骤 D的地面平面方程A1x+B1y+C1z+D1＝0、所述步骤2.3的奶牛身体对称面的平 面方程A2x+B2y+C2z+D2＝0、所述步骤2.2的奶牛身体的特征点耆甲点 M1(x1，y1，z1)、肩端点M2(x2，y2，z2)、体深上点M3(x3，y3，z3)、体深下点 M4(x4，y4，z4)、腹端点M5(x5，y5，z5)、腰角点M6(x6，y6，z6)、坐骨结节点M7(x7，y7，z7)、后肢飞节点M8(x8，y8，z8)通过计算空间中的距离来进行相对应 的奶牛体尺检测。
奶牛体高W1：奶牛耆甲点到地面的垂直距离，
Figure BDA0003308925520000091
奶牛体长W2：奶牛耆甲点到坐骨结节点的水平距离，W2＝|x6-x1|
奶牛体斜长W3：奶牛肩端点到坐骨结节点之间的距离，
Figure BDA0003308925520000092
奶牛体深W4：奶牛腹部肚子上下的垂直距离，W4＝|y3-y4|
奶牛肩宽W5：奶牛肩端点到身体对称面距离的两倍，
Figure BDA0003308925520000093
奶牛腹宽W6：奶牛腹端点到身体对称面距离的两倍，
Figure BDA0003308925520000101
奶牛尻宽W7：奶牛坐骨结节点到身体对称面距离的两倍，
Figure BDA0003308925520000102
奶牛尻角度W8：奶牛坐骨结节点和腰角之间的相对高度差，
Figure BDA0003308925520000103
奶牛腰强度W9：奶牛腰椎横突弯曲程度，以奶牛腰角点M6(x6，y6，z6)和 体深上点M3(x3，y3，z3)、坐骨结节点M7(x7，y7，z7)构成向量
Figure BDA0003308925520000104
计算向量
Figure BDA0003308925520000105
Figure BDA0003308925520000106
之间的角度θ1。
Figure BDA0003308925520000107
Figure BDA0003308925520000108
Figure RE-GDA0003370281700000109
奶牛后肢侧视W10：奶牛后肢飞节处的弯曲程度，以奶牛后肢飞节点 M8(x8，y8，z8)为基准，向坐标z轴正方向进行搜素5个领域点，构成向量
Figure RE-GDA00033702817000001010
向坐标z轴负方向进行搜素5个领域点，构成向量
Figure RE-GDA00033702817000001011
计算奶牛后肢飞节处的弯曲程度θ2。
Figure RE-GDA00033702817000001012
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。

Claims (8)

1.一种基于RGB-D相机的奶牛体尺检测装置，其特征在于：
包括奶牛通道、RGB-D相机、红外传感器和计算机；
所述奶牛通道由左右两侧横杆围栏构成，所述奶牛通道单次只允许一头奶牛通过；
所述RGB-D相机安装在所述奶牛通道的一侧，所述RGB-D相机是由3D相机和RGB相机组合构成，并与计算机相连，将采集的点云图像和RGB图像上传计算机；
所述红外传感器安装在所述奶牛通道的上横杆围栏上，与计算机设备相连，用于判断奶牛是否处于最佳拍摄位置，发出采集图像信号；
所述计算机对接收到的RGB图像，利用奶牛的黑白花纹特征进行奶牛的身份识别，对接收到的点云图像，依据奶牛体型和颜色特征，对点云图像和RGB图像进行融合处理分析实现非接触式的奶牛体尺检测。
2.根据权利要求1所述的一种基于RGB-D相机的奶牛体尺检测装置，其特征在于：所述3D相机成像的坐标***x轴正方向水平向右、y轴正方向竖直向下、z轴正方向垂直向后。
3.一种基于RGB-D相机的奶牛体尺检测方法，其特征在于包括下述步骤：
A、在实验场地中搭建奶牛图像采集平台，获取目标图像，具体包括以下步骤：
a1：搭建采集奶牛通道：所述采集奶牛通道单次只允许一头奶牛通过；在奶牛通道上安装红外传感器来判断奶牛是否处于最佳拍摄位置，当红外传感器检测到奶牛通过通道时，发出采集图像指令；
a2：搭建采集图像设备：将RGB-D相机安装在支架上并设置于奶牛通道的一侧，并将RGB-D相机连接于计算机上；接收到采集图像指令，利用RGB相机获取RGB图像，并将RGB图像传输给计算机设备，利用3D相机进行获取点云图像，并将点云图像传输给计算机设备；
B、对所述步骤a2的RGB图像进行处理，实现奶牛的身份识别；
C、对所述步骤a2的RGB图像、点云图像进行处理，实现RGB和点云的配准融合；
D、对所述步骤C的融合点云图像进行处理，实现奶牛体尺的自动检测。
4.根据权利要求3所述的一种基于RGB-D相机的奶牛体尺检测方法，其特征在于所述步骤B具体包括以下步骤：
b1：图像预处理：对所述步骤a2的RGB图像进行图像归一化和滤波预处理；
b2：图像分割：对所述步骤a2的RGB图像进行边缘分割、区域分割等操作，提取奶牛腹部区域；
b3：图像特征提取：对步骤b2的RGB图像经过智能算法进行特征数据的提取，并对特征数据进行降维优化，构建奶牛个体分类识别的特征空间；
b4：通过神经网络分类器、支持向量机分类器或深度学习技术，构建所提取的奶牛黑白花纹特征空间与奶牛个体的关系模型，并保证模型识别精度在95％以上。
5.根据权利要求4所述的一种基于RGB-D相机的奶牛体尺检测方法，其特征在于：所述b3步骤中特征数据包括奶牛黑白花纹的纹理特征和颜色特征。
6.根据权利要求3所述的一种基于RGB-D相机的奶牛体尺检测方法，其特征在于所述步骤C具体包括以下步骤：
c1：相机标定：基于OpenCV进行对RGB相机和3D相机的标定，求取两个相机的参数和相对位置；
c2：图像的配准融合：利用c1步骤相机的参数，进行RGB相机和3D相机坐标系间的转换，可将3D相机点云直接投影到RGB相机上。
7.根据权利要求3所述的一种基于RGB-D相机的奶牛体尺检测方法，其特征在于所述步骤D具体包括以下步骤：
d1：图像预处理：对所述步骤C的融合点云图像去除地面噪声、奶牛通道、背景环境离散点的预处理，并提取出地面模型的参数；
d2：提取奶牛点云：对所述步骤d1的融合点云图像提取其颜色特征、深度特征和三维曲面法线特征，去除所述步骤d1的复杂背景、离散点等干扰，并分割提取出奶牛的点云；
d3：奶牛特征点提取：对所述步骤d2的点云图像，依据奶牛身体几何外形和颜色特征，提取奶牛身体的特征点。
d4：奶牛体尺检测：通过空间距离的计算，可实现奶牛体尺的自动检测。
8.根据权利要求7所述的基于RGB-D相机的奶牛体尺检测方法，其特征在于：所述步骤d3的提取奶牛身体的特征点如下：
2.1：利用直通滤波方法提取目标区域：通过对整体奶牛点云进行三维可视化发现，奶牛身体的特征点基本位于奶牛的肩部、腹部、尾部、后肢区域，利用直通滤波方法提取这四部分的点云数据；
2.2：在奶牛点云的肩部、腹部、尾部、后肢区域，基于颜色特征、深度特征和三维曲面法线特征提取奶牛耆甲点、体深上点、体深下点等特征点；基于深度特征、形态特征利用寻找极值点的方法提取特征点，包括奶牛肩端点、腹宽点、腰角点、坐骨结节点和后肢飞节点；
2.3：提取所述步骤2.2中的耆甲点、体深上点和体深下点，构建奶牛身体对称面的平面方程；
2.4：利用空间中距离方程进行计算奶牛的体尺参数：通过利用所述步骤D的地面平面方程、所述步骤2.3的奶牛身体对称面的平面方程、所述步骤2.2的奶牛身体的特征点，通过计算空间中的距离来进行相对应的奶牛体尺检测。
CN202111211000.2A 2021-10-18 2021-10-18 一种基于rgb-d相机的奶牛体尺检测装置及其检测方法 Pending CN113920138A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111211000.2A CN113920138A (zh) 2021-10-18 2021-10-18 一种基于rgb-d相机的奶牛体尺检测装置及其检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111211000.2A CN113920138A (zh) 2021-10-18 2021-10-18 一种基于rgb-d相机的奶牛体尺检测装置及其检测方法

Publications (1)

Publication Number Publication Date
CN113920138A true CN113920138A (zh) 2022-01-11

Family

ID=79241707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111211000.2A Pending CN113920138A (zh) 2021-10-18 2021-10-18 一种基于rgb-d相机的奶牛体尺检测装置及其检测方法

Country Status (1)

Country Link
CN (1) CN113920138A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972472A (zh) * 2022-04-21 2022-08-30 北京福通互联科技集团有限公司 基于激光阵列和单目摄像机的肉牛立体深度图像采集方法
CN114966733A (zh) * 2022-04-21 2022-08-30 北京福通互联科技集团有限公司 基于激光阵列和单目摄像机的肉牛立体深度图像采集***
CN115294181A (zh) * 2022-08-18 2022-11-04 东北农业大学 基于两阶段关键点定位的奶牛体型评定指标测量方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972472A (zh) * 2022-04-21 2022-08-30 北京福通互联科技集团有限公司 基于激光阵列和单目摄像机的肉牛立体深度图像采集方法
CN114966733A (zh) * 2022-04-21 2022-08-30 北京福通互联科技集团有限公司 基于激光阵列和单目摄像机的肉牛立体深度图像采集***
CN115294181A (zh) * 2022-08-18 2022-11-04 东北农业大学 基于两阶段关键点定位的奶牛体型评定指标测量方法

Similar Documents

Publication Publication Date Title
Yu et al. Segmentation and measurement scheme for fish morphological features based on Mask R-CNN
CN113920138A (zh) 一种基于rgb-d相机的奶牛体尺检测装置及其检测方法
CN107180438B (zh) 估计牦牛体尺、体重的方法和相应的便携式计算机装置
CN103411553B (zh) 多线结构光视觉传感器的快速标定方法
CN101839692B (zh) 单相机测量物体三维位置与姿态的方法
CN109141248A (zh) 基于图像的猪体重测算方法及***
CN111612850B (zh) 一种基于点云的猪只体尺参数测量方法
CN109145808B (zh) 一种基于自适应鱼体弯曲模型的金枪鱼识别方法
CN102704215B (zh) 基于dst文件解析与机器视觉结合的绣布自动切割方法
CN107657639A (zh) 一种快速定位目标的方法和装置
CN101512551A (zh) 用于测量动物身高的方法和***
CN111243005A (zh) 牲畜估重方法、装置、设备以及计算机可读存储介质
CN105913013A (zh) 双目视觉人脸识别算法
CN108961330A (zh) 基于图像的猪体长测算方法及***
CN107016353B (zh) 一种变分辨率目标探测与识别一体化的方法与***
CN111126116A (zh) 无人船河道垃圾识别方法及***
CN112288793B (zh) 畜类个体背膘检测方法、装置、电子设备及存储介质
Hao et al. An improved PointNet++ point cloud segmentation model applied to automatic measurement method of pig body size
CN110569735A (zh) 一种基于奶牛背部体况的分析方法及装置
WO2023060632A1 (zh) 基于点云数据的街景地物多维度提取方法和***
CN112861872A (zh) 一种南美白对虾表型数据测定方法、装置、计算机设备及存储介质
CN102855485A (zh) 一种小麦抽穗的自动检测方法
CN111767794A (zh) 基于机器视觉的笼养家禽异常行为检测方法及检测***
CN113470106A (zh) 一种无接触式奶牛体尺信息采集方法
CN110851978B (zh) 一种基于可见性的摄像机位置优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination