CN116758170B - 用于畜禽表型3d重建的多相机快速标定方法及存储介质 - Google Patents

用于畜禽表型3d重建的多相机快速标定方法及存储介质 Download PDF

Info

Publication number
CN116758170B
CN116758170B CN202311021720.1A CN202311021720A CN116758170B CN 116758170 B CN116758170 B CN 116758170B CN 202311021720 A CN202311021720 A CN 202311021720A CN 116758170 B CN116758170 B CN 116758170B
Authority
CN
China
Prior art keywords
point cloud
camera
center
acquired
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311021720.1A
Other languages
English (en)
Other versions
CN116758170A (zh
Inventor
赵宇亮
李斌
王海峰
朱君
朱芷芫
刘世锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Original Assignee
Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences filed Critical Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Priority to CN202311021720.1A priority Critical patent/CN116758170B/zh
Publication of CN116758170A publication Critical patent/CN116758170A/zh
Application granted granted Critical
Publication of CN116758170B publication Critical patent/CN116758170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及相机标定领域，本发明提供一种用于畜禽表型3D重建的多相机快速标定方法及存储介质，该方法包括：基于目标物体的深度信息和各摄像装置的内参数，确定各摄像装置获取到的物体点云；根据各物体点云，确定各摄像装置获取到的物体中心；基于初始旋转平移矩阵和各物体中心，对各物体点云进行调整；在各物体中心重合的情况下停止调整，得到标定好的摄像装置，各标定好的摄像装置具有对应的目标旋转平移矩阵，目标旋转平移矩阵是对初始旋转平移矩阵进行更新后得到的。本发明通过对各个摄像装置获取到的目标物体的点云进行调整，实现对摄像装置外参数的标定。解决了现有摄像装置的外参数标定存在的标定结果不准确以及标定时间较长的技术问题。

Description

用于畜禽表型3D重建的多相机快速标定方法及存储介质
技术领域
本发明涉及相机标定领域，尤其涉及一种用于畜禽表型3D重建的多相机快速标定方法及存储介质。
背景技术
现有的摄像装置（如相机）在出厂时已做好相机内参数的标定，相机内参数包含相机光心坐标、焦距以及畸变系数等，无需额外对相机内参数进行标定。而对于相机外参数的标定通常选用张正友标定法。张正友标定法需要借助棋盘格进行标定，操作过程较为繁琐，主要存在以下缺点：
（1）对于特定场景的标定：棋盘格标定依赖于棋盘格图***检测，因此在场景复杂或者光照不均匀的情况下，无法准确检测棋盘格，从而导致相机外参数标定结果不准确；（2）相机姿态限制：棋盘格标定要求相机在不同的姿态下拍摄棋盘格图案，相机姿态的限制可能导致标定精度下降。例如，某些姿态的相机无法正确检测到棋盘格的某些角落，导致标定精度下降。（3）时间成本高：棋盘格标定需要拍摄多张棋盘格图像，并对每张图像进行棋盘格检测和角点提取等操作，标定时间较长。
发明内容
本发明提供一种用于畜禽表型3D重建的多相机快速标定方法及存储介质，用以解决现有摄像装置的外参数标定存在的标定结果不准确，标定精度较低以及标定时间较长的技术问题。
本发明提供一种用于畜禽表型3D重建的多相机快速标定方法，包括：
基于目标物体的深度信息和各摄像装置的内参数，确定各所述摄像装置获取到的物体点云；
根据各所述物体点云，确定各所述摄像装置获取到的物体中心；
基于初始旋转平移矩阵和各所述物体中心，对各所述物体点云进行调整；
在各所述物体中心重合的情况下停止所述调整，得到标定好的摄像装置，各所述标定好的摄像装置具有对应的目标旋转平移矩阵，所述目标旋转平移矩阵是对所述初始旋转平移矩阵进行更新后得到的。
根据本发明提供的一种用于畜禽表型3D重建的多相机快速标定方法，所述基于目标物体的深度信息和各摄像装置的内参数，确定各所述摄像装置获取到的物体点云之前包括：
对目标物体的预设格式图像的参数进行调节得到掩膜图像；
将所述掩膜图像中所述目标物体的区域映像在所述目标物体的深度图上，得到所述目标物体的深度信息。
根据本发明提供的一种用于畜禽表型3D重建的多相机快速标定方法，所述基于目标物体的深度信息和各摄像装置的内参数，确定各所述摄像装置获取到的物体点云包括：
基于目标物体对应的各图像点的深度，确定各所述图像点的第一点云坐标，各摄像装置的内参数包括图像中心点纵坐标像素位置、图像中心点横坐标像素位置、横向像素焦距以及纵向像素焦距；
基于各所述图像点的深度、所述图像中心点横坐标像素位置以及所述横向像素焦距，确定各所述图像点的第二点云坐标；
基于各所述图像点的深度、所述图像中心点纵坐标像素位置以及所述纵向像素焦距，确定各所述图像点的第三点云坐标；
根据所述第一点云坐标、所述第二点云坐标以及所述第三点云坐标，确定各所述摄像装置获取到的物体点云。
根据本发明提供的一种用于畜禽表型3D重建的多相机快速标定方法，所述根据各所述物体点云，确定各所述摄像装置获取到的物体中心包括：
从各所述摄像装置获取到的第一物体的物体点云中选取随机点，所述第一物体是各所述目标物体中的一个；
基于所述随机点的点云坐标，确定各所述摄像装置获取到的所述第一物体的物体中心。
根据本发明提供的一种用于畜禽表型3D重建的多相机快速标定方法，所述摄像装置包括目标摄像装置和其他摄像装置，所述基于初始旋转平移矩阵和各所述物体中心，对各所述物体点云进行调整包括：
确定所述目标摄像装置的世界坐标系为主坐标；
通过初始旋转平移矩阵和所述主坐标，对所述其他摄像装置获取到的物体点云进行调整，直至所述目标摄像装置获取到的物体中心与所述其他摄像装置获取到的物体中心重合。
根据本发明提供的一种用于畜禽表型3D重建的多相机快速标定方法，所述物体点云包括所述其他摄像装置获取到的源点云以及所述目标摄像装置获取到的目标点云，所述用于畜禽表型3D重建的多相机快速标定方法还包括：
确定所述其他摄像装置对应的旋转矩阵和平移变量；
基于所述旋转矩阵和所述平移变量，确定所述源点云变换到所述目标点云的位置后得到的距离误差；
在所述距离误差小于预设阈值的情况下，确定变换后的源点云与所述目标点云重合。
根据本发明提供的一种用于畜禽表型3D重建的多相机快速标定方法，所述在各所述物体中心重合的情况下停止所述调整，得到标定好的摄像装置之后包括：
基于各所述标定好的摄像装置对应的目标旋转平移矩阵，对处于自然站立姿态的畜禽的表型进行三维重建，得到畜禽表型信息。
本发明还提供一种用于畜禽表型3D重建的多相机快速标定装置，包括：
物体点云获取模块，用于基于目标物体的深度信息和各摄像装置的内参数，确定各所述摄像装置获取到的物体点云；
物体中心获取模块，用于根据各所述物体点云，确定各所述摄像装置获取到的物体中心；
物体点云调整模块，用于基于初始旋转平移矩阵和各所述物体中心，对各所述物体点云进行调整；
摄像装置标定模块，用于在各所述物体中心重合的情况下停止所述调整，得到标定好的摄像装置，各所述标定好的摄像装置具有对应的目标旋转平移矩阵，所述目标旋转平移矩阵是对所述初始旋转平移矩阵进行更新后得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用于畜禽表型3D重建的多相机快速标定方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用于畜禽表型3D重建的多相机快速标定方法。
本发明提供的用于畜禽表型3D重建的多相机快速标定方法及存储介质，首先，基于目标物体的深度信息和各个摄像装置的内参数，确定各个摄像装置获取到的目标物体的点云信息，通过各个摄像装置获取到的目标物体的点云信息确定各个目标物体的中心，然后生成初始旋转平移矩阵，在初始旋转平移矩阵和目标物体中心的基础上，对各个摄像装置获取到的目标物体的点云进行调整，以更新初始旋转平移矩阵，使各个摄像装置获取到的目标物体的点云重合，在各个摄像装置获取到的物体中心重合的情况下停止点云调整，得到各个摄像装置对应的目标旋转平移矩阵，即标定好外参数的摄像装置，其中，目标旋转平移矩阵是对初始旋转平移矩阵进行更新后得到的。通过对各个摄像装置获取到的目标物体的点云进行调整，实现对摄像装置外参数的标定。解决了现有摄像装置的外参数标定存在的标定结果不准确，标定精度较低以及标定时间较长的技术问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的用于畜禽表型3D重建的多相机快速标定方法中的相机摆设示意图；
图2是本发明提供的用于畜禽表型3D重建的多相机快速标定方法的流程示意图之一；
图3是本发明提供的用于畜禽表型3D重建的多相机快速标定方法中的掩膜图像示意图；
图4是本发明提供的用于畜禽表型3D重建的多相机快速标定方法的流程示意图之二；
图5是本发明提供的用于畜禽表型3D重建的多相机快速标定方法中的拟合球体示意图；
图6是本发明提供的用于畜禽表型3D重建的多相机快速标定方法中的畜禽表型示意图；
图7是本发明提供的用于畜禽表型3D重建的多相机快速标定装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本申请的实现需要建立在一定的操作基础上，具体操作如下：
如图1所示，使用多个（例如4个）一定直径大小（例如5公分）的纯色（例如蓝色）球体，使用细硬质铁丝并连接底座，保证多个（例如4个）摄像装置（例如深度相机）的视野内均能拍摄到球体，且保证每个深度相机拍摄到的球体彩色图像中无重合区域。
采集4台深度相机的彩色图和与之对齐过的深度图，将彩色图像的RGB（Red GreenBlue，红绿蓝）格式转换为HSV（Hue，Saturation，Value，色调，饱和度，明度）格式。在图像处理中使用较多的是 HSV 颜色空间，它比 RGB 更接近人们对彩色的感知经验。非常直观地表达颜色的色调、鲜艳程度和明暗程度，方便进行颜色的对比。HSV 表达彩色图像的方式由色调、饱和度和明度三个部分组成。在OpenCV（跨平台计算机视觉库）中，蓝色通常被表示为HSV颜色空间中的一组值。HSV颜色空间可以更好地表示颜色的特征，因为它可以将颜色的亮度、饱和度和色调分开表示。蓝色在HSV颜色空间中的范围是H为120，S为255，V为255。需要注意的是，H值范围为0到180。因此蓝色的H值为120，对应于OpenCV中的范围为110到130。S和V的值为255，表示饱和度和明度的最大值。
请参照图2，本发明提供一种用于畜禽表型3D重建的多相机快速标定方法，包括：
步骤100，基于目标物体的深度信息和各摄像装置的内参数，确定各所述摄像装置获取到的物体点云；
具体地，蓝色球体的深度信息结合摄像装置内参数，计算多个摄像装置各自对应蓝色球体的点云信息，即本实施例中的物体点云，具体计算方法在下文详述。
步骤100之前，还包括：
步骤10，对目标物体的预设格式图像的参数进行调节得到掩膜图像；
步骤20，将所述掩膜图像中所述目标物体的区域映像在所述目标物体的深度图上，得到所述目标物体的深度信息。
具体地，如上所述，通过调节H、S和V的范围，分离出蓝色区域，生成二值化的掩膜图像，掩膜图像中的白色区域对应为蓝色球体（即本实施例中的目标物体）所在的区域，掩膜图像中的黑色区域对应为除蓝色球体之外的其他区域。如图3所示，将蓝色球体所在的区域映像在对应的深度图上，得到目标物体的深度信息。
步骤200，根据各所述物体点云，确定各所述摄像装置获取到的物体中心；
具体地，通过非共面多点可以确定球心的方法，对各摄像装置获取到的点云进行球形拟合，并计算拟合球心的坐标，拟合球心的坐标为其对应的彩色球体的真实球心坐标。
步骤300，基于初始旋转平移矩阵和各所述物体中心，对各所述物体点云进行调整；
具体地，各相机获取到蓝色球体球心区域的点云信息后，使用ICP（IterativeClosest Points，迭代最近点）点云配准算法进行点云配准生成旋转矩阵和平移矩阵。可以以第一个相机的世界坐标系作为主坐标，通过生成的旋转矩阵和平移矩阵对其他相机的点云进行旋转（即对物体点云进行调整），以使其他相机获取到的球心点云与第一个相机获取到的球心点云基本重合。
步骤400，在各所述物体中心重合的情况下停止所述调整，得到标定好的摄像装置，各所述标定好的摄像装置具有对应的目标旋转平移矩阵，所述目标旋转平移矩阵是对所述初始旋转平移矩阵进行更新后得到的。
具体地，通过寻找两个点云之间的对应点，计算源点云到目标点云的变换矩阵，并且在迭代中更新对应点对，优化点云配准结果，直到源点云与目标点云之间的误差小于预设阈值或者是达到最大迭代次数，得到具有对应的目标旋转平移矩阵的标定好的摄像装置。
在本实施例中，首先，基于目标物体的深度信息和各个摄像装置的内参数，确定各个摄像装置获取到的目标物体的点云信息，通过各个摄像装置获取到的目标物体的点云信息确定各个目标物体的中心，然后生成初始旋转平移矩阵，在初始旋转平移矩阵和目标物体中心的基础上，对各个摄像装置获取到的目标物体的点云进行调整，以更新初始旋转平移矩阵，使各个摄像装置获取到的目标物体的点云重合，在各个摄像装置获取到的物体中心重合的情况下停止点云调整，得到各个摄像装置对应的目标旋转平移矩阵，即标定好外参数的摄像装置，其中，目标旋转平移矩阵是对初始旋转平移矩阵进行更新后得到的。通过对各个摄像装置获取到的目标物体的点云进行调整，实现对摄像装置外参数的标定。解决了现有摄像装置的外参数标定存在的标定结果不准确，标定精度较低以及标定时间较长的技术问题。
请参照图4，在一个实施例中，本申请实施例提供的用于畜禽表型3D重建的多相机快速标定方法，还可以包括：
步骤110，基于目标物体对应的各图像点的深度，确定各所述图像点的第一点云坐标，各摄像装置的内参数包括图像中心点纵坐标像素位置、图像中心点横坐标像素位置、横向像素焦距以及纵向像素焦距；
步骤120，基于各所述图像点的深度、所述图像中心点横坐标像素位置以及所述横向像素焦距，确定各所述图像点的第二点云坐标；
步骤130，基于各所述图像点的深度、所述图像中心点纵坐标像素位置以及所述纵向像素焦距，确定各所述图像点的第三点云坐标；
步骤140，根据所述第一点云坐标、所述第二点云坐标以及所述第三点云坐标，确定各所述摄像装置获取到的物体点云。
具体地，蓝色球体的深度信息结合摄像装置内参数，计算多个摄像装置各自对应蓝色球体的点云信息，点云信息中单个点的世界坐标计算方法如公式1所示，其中，是图像中心点横坐标像素位置，单位是像素；/>是图像中心点纵坐标像素位置，单位是像素；/>是横向像素焦距，单位是像素；/>是纵向像素焦距，单位是像素；/>是图像点(u，v)的深度；/>、/>、/>和/>是摄像装置的内参数；(u，v)为图像点的像素坐标；X即是本实施例中的第二点云坐标，Y即是本实施例中的第三点云坐标，Z即是本实施例中的第一点云坐标，（X，Y，Z）是图像点(u，v)的点云坐标。将每个球体的每个点都通过公式1生成每个球体的点云集合，即本实施例中的物体点云。
公式1
本实施例通过结合蓝色球体的深度信息和摄像装置内参数，准确计算得到各相机对应的物体点云信息。
在一个实施例中，本申请实施例提供的用于畜禽表型3D重建的多相机快速标定方法，还可以包括：
步骤210，从各所述摄像装置获取到的第一物体的物体点云中选取随机点，所述第一物体是各所述目标物体中的一个；
步骤220，基于所述随机点的点云坐标，确定各所述摄像装置获取到的所述第一物体的物体中心。
具体地，如图5所示，通过非共面多点可以确定球心的方法，对各摄像装置获取到的点云进行球形拟合，并计算拟合球心的坐标，拟合球心的坐标为其对应的彩色球体的真实球心坐标。在三维空间坐标系，4个不同水平面的点即可确定一个球面。随机从每台相机每个球状点云中获取4个点的点云坐标值（x，y，z）。带入公式中，求解上式中的/>、/>、/>，即为球体球心世界坐标，本实施例中的第一物体。
本实施例通过非共面多点确定球心的方法，对各摄像装置获取到的点云进行球形拟合，得到各球体球心世界坐标。
在一个实施例中，摄像装置包括目标摄像装置和其他摄像装置，本申请实施例提供的用于畜禽表型3D重建的多相机快速标定方法，还可以包括：
步骤310，确定所述目标摄像装置的世界坐标系为主坐标；
步骤320，通过初始旋转平移矩阵和所述主坐标，对所述其他摄像装置获取到的物体点云进行调整，直至所述目标摄像装置获取到的物体中心与所述其他摄像装置获取到的物体中心重合。
具体地，各深度相机获取到蓝色球体球心区域的点云信息后，使用ICP点云配准算法进行点云配准生成旋转矩阵和平移矩阵，以第一个相机（即本实施例中的目标摄像装置）的世界坐标系作为主坐标，通过生成的旋转矩阵和平移矩阵对第二个相机的点云进行旋转，使第二个相机获取到的球心点云（即本实施例中的物体点云）与第一个相机获取到的球心点云基本重合，记录调整后的旋转矩阵和平移矩阵的信息，该旋转矩阵与平移矩阵即为相机之间的相对位置。以此类推各自获得除第一个相机之外的其他相机对应的旋转矩阵和平移矩阵的信息，用于后续的畜禽表型构建。
本实施例通过初始旋转平移矩阵和主坐标，对其他摄像装置获取到的物体点云进行调整，得到各摄像装置对应的旋转矩阵和平移矩阵的信息，用于后续的畜禽表型构建。
在一个实施例中，本申请实施例提供的用于畜禽表型3D重建的多相机快速标定方法，还可以包括：
步骤410，确定所述其他摄像装置对应的旋转矩阵和平移变量；
步骤420，基于所述旋转矩阵和所述平移变量，确定所述源点云变换到所述目标点云的位置后得到的距离误差；
步骤430，在所述距离误差小于预设阈值的情况下，确定变换后的源点云与所述目标点云重合。
具体地，上述的ICP点云配准算法的原理是：通过寻找两个点云之间的对应点，计算源点云到目标点云的变换矩阵，并且在迭代中更新对应点对，优化点云配准结果，直到源点云与目标点云之间的误差小于预设阈值或者是达到最大迭代次数。其中，对应点是通过计算源点云与目标点云之间的最近距离得到的，因此点云配准算法要求两个点云集的初始位置必须尽可能靠近，得到的配准精度也更高。
对于两个待配准的源点云集和目标点云集/>进行点云配准的具体过程如下：首先，计算点云P和Q中的对应点，存在一个旋转矩阵R和一个平移变量t，使得/>能够变换到其对应点/>的位置，变换后点与对应点间的距离即为误差，因此，可以求出令误差平方和达到最小值的变换，求解公式如公式2所示。
公式2
通过上述旋转矩阵R和一个平移变量t，将整个源点云P变换到新的位置；然后重新估计对应点，计算两个点集之间的配准误差；重复以上步骤，直到两个点云之间的误差低于设定阈值或者是达到最大迭代次数。
本实施例通过点云匹配算法实现各相机点云图像自动拼接。
在一个实施例中，本申请实施例提供的用于畜禽表型3D重建的多相机快速标定方法，还可以包括：
步骤500，基于各所述标定好的摄像装置对应的目标旋转平移矩阵，对处于自然站立姿态的畜禽的表型进行三维重建，得到畜禽表型信息。
具体地，本申请标定好的摄像装置可用于畜禽表型三维重建，由于多相机采集畜禽表型数据的时候，畜禽身体会发生摆动，身体卷曲以及头部摆动等非自然站立姿态，后续表型数据分析会产生较大误差。本申请使用自然站立姿态识别算法对获取到的畜禽姿态进行过滤，仅提取自然站立姿态下的畜禽表型信息。
自然站立姿态识别是指，通过测量畜禽在站立状态下的背部测量点坐标，判断畜禽是否处于正常的站立姿态，具体步骤如下：
1、选择背部测量点，在畜禽背部选择一组测量点作为姿态识别的基础，并运用OpenPose（基于卷积神经网络和监督学习写成的开源库）算法进行畜禽背部关键点模型训练。测量点的选取应该充分考虑畜禽的解剖结构和生理特征，以便在不同的姿态下都能准确测量；
2、畜禽站立测量，将畜禽放在平坦的地面上，让其自然站立，通过深度相机测量背部测量点的坐标；
3、数据预处理，将测量得到的背部测量点的坐标数据进行预处理，包括数据清洗和数据归一化等处理；
4、特征提取，从预处理后的坐标数据中提取特征，例如，坐标点的位置、距离以及角度等特征；
5、姿态分类，使用机器学习SVM（Support Vector Machine，支持向量机）算法进行姿态分类，将测量得到的特征输入到模型中，模型根据训练好的参数进行分类，判断畜禽是否处于自然站立姿态。
下面以猪为例，如图6所示，为实现表型数据分析（例如：体长、体高、体宽、臀高、臀宽等体尺数据）精准计算，在运用ResNet（深度残差网络）为基础网络，使用顶部俯拍的深度相机的彩色图像作为输入进行背部体尺测量特征点检测，当获得猪的特征点信息后，需筛选猪的自然站立姿态进行体尺测量。一般自然站立状态下，El与Er 连线S1，L1与R1连线S2，以及L2与R2连线S3，这3条线间近似平行，各直线间夹角比较小。本发明在得到多组S1、S2和S3之间的夹角数据后，运用SVM进行模型训练。
SVM分类的主要思想是通过核函数定义的非线性变换将输入空间变换成一个高维空间，并在这个空间中寻找一个分类超平面作为决策平面，使得正例和反例之间的隔离边缘被最大化。选用RBF（Radial basis function，径向基函数）作为SVM核函数，在姿态模型训练过程中主要涉及惩罚系数与gamma值（径向基函数核函数自带的超参数）两个参数。调节这两个参数模型，获得最优模型用于畜禽姿态分类，以便于进一步进行畜禽表型分析。
本实施例通过使用自然站立姿态识别算法对获取到的畜禽姿态进行过滤，提取自然站立姿态下的畜禽表型信息。
下面对本发明提供的用于畜禽表型3D重建的多相机快速标定装置进行描述，下文描述的用于畜禽表型3D重建的多相机快速标定装置与上文描述的用于畜禽表型3D重建的多相机快速标定方法可相互对应参照。
请参照图7，本发明还提供一种用于畜禽表型3D重建的多相机快速标定装置，包括：
物体点云获取模块401，用于基于目标物体的深度信息和各摄像装置的内参数，确定各所述摄像装置获取到的物体点云；
物体中心获取模块402，用于根据各所述物体点云，确定各所述摄像装置获取到的物体中心；
物体点云调整模块403，用于基于初始旋转平移矩阵和各所述物体中心，对各所述物体点云进行调整；
摄像装置标定模块404，用于在各所述物体中心重合的情况下停止所述调整，得到标定好的摄像装置，各所述标定好的摄像装置具有对应的目标旋转平移矩阵，所述目标旋转平移矩阵是对所述初始旋转平移矩阵进行更新后得到的。
可选地，所述用于畜禽表型3D重建的多相机快速标定装置还包括：
掩膜图像获取模块，用于对目标物体的预设格式图像的参数进行调节得到掩膜图像；
区域映像模块，用于将所述掩膜图像中所述目标物体的区域映像在所述目标物体的深度图上，得到所述目标物体的深度信息。
可选地，所述物体点云获取模块包括：
第一点云坐标确定单元，用于基于目标物体对应的各图像点的深度，确定各所述图像点的第一点云坐标，各摄像装置的内参数包括图像中心点纵坐标像素位置、图像中心点横坐标像素位置、横向像素焦距以及纵向像素焦距；
第二点云坐标确定单元，用于基于各所述图像点的深度、所述图像中心点横坐标像素位置以及所述横向像素焦距，确定各所述图像点的第二点云坐标；
第三点云坐标确定单元，用于基于各所述图像点的深度、所述图像中心点纵坐标像素位置以及所述纵向像素焦距，确定各所述图像点的第三点云坐标；
物体点云确定单元，用于根据所述第一点云坐标、所述第二点云坐标以及所述第三点云坐标，确定各所述摄像装置获取到的物体点云。
可选地，所述物体中心获取模块包括：
随机点选取单元，用于从各所述摄像装置获取到的第一物体的物体点云中选取随机点，所述第一物体是各所述目标物体中的一个；
物体中心确定单元，用于基于所述随机点的点云坐标，确定各所述摄像装置获取到的所述第一物体的物体中心。
可选地，所述摄像装置包括目标摄像装置和其他摄像装置，所述物体点云调整模块包括：
主坐标确定单元，用于确定所述目标摄像装置的世界坐标系为主坐标；
点云调整单元，用于通过初始旋转平移矩阵和所述主坐标，对所述其他摄像装置获取到的物体点云进行调整，直至所述目标摄像装置获取到的物体中心与所述其他摄像装置获取到的物体中心重合。
可选地，所述物体点云包括所述其他摄像装置获取到的源点云以及所述目标摄像装置获取到的目标点云，所述用于畜禽表型3D重建的多相机快速标定装置还包括：
摄像装置外参数确定模块，用于确定所述其他摄像装置对应的旋转矩阵和平移变量；
距离误差确定模块，用于基于所述旋转矩阵和所述平移变量，确定所述源点云变换到所述目标点云的位置后得到的距离误差；
点云重合确定模块，用于在所述距离误差小于预设阈值的情况下，确定变换后的源点云与所述目标点云重合。
可选地，所述用于畜禽表型3D重建的多相机快速标定装置还包括：
畜禽表型信息获取模块，用于基于各所述标定好的摄像装置对应的目标旋转平移矩阵，对处于自然站立姿态的畜禽的表型进行三维重建，得到畜禽表型信息。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行用于畜禽表型3D重建的多相机快速标定方法。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的用于畜禽表型3D重建的多相机快速标定方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种用于畜禽表型3D重建的多相机快速标定方法，其特征在于，包括：
基于蓝色球体的深度信息和各摄像装置的内参数，确定各所述摄像装置获取到的物体点云；所述摄像装置为4个；所述蓝色球体为4个；
根据各所述物体点云，确定各所述摄像装置获取到的物体中心；
基于初始旋转平移矩阵和各所述物体中心，对各所述物体点云进行调整；
在各所述物体中心重合的情况下停止所述调整，得到标定好的摄像装置，各所述标定好的摄像装置具有对应的目标旋转平移矩阵，所述目标旋转平移矩阵是对所述初始旋转平移矩阵进行更新后得到的；
所述根据各所述物体点云，确定各所述摄像装置获取到的物体中心包括：
从各所述摄像装置获取到的第一物体的物体点云中选取随机点，所述第一物体是各所述蓝色球体中的一个；
基于所述随机点的点云坐标，确定各所述摄像装置获取到的所述第一物体的物体中心；
通过非共面多点确定球心的方法，对各所述摄像装置获取到的各所述物体点云进行球形拟合，并计算拟合球心的坐标，拟合球心的坐标为其对应的蓝色球体的真实球心坐标；随机从每一摄像装置获取到的每一物体点云中获取4个点的点云坐标值（x，y，z），带入公式中，求解出/>、/>、/>，即为球体球心世界坐标系；
各所述摄像装置包括目标摄像装置和其他摄像装置，所述基于初始旋转平移矩阵和各所述物体中心，对各所述物体点云进行调整包括：
确定所述目标摄像装置的世界坐标系为主坐标；
通过初始旋转平移矩阵和所述主坐标，对所述其他摄像装置获取到的物体点云进行调整，直至所述目标摄像装置获取到的物体中心与所述其他摄像装置获取到的物体中心重合；
所述在各所述物体中心重合的情况下停止所述调整，得到标定好的摄像装置之后包括：
基于各所述标定好的摄像装置对应的目标旋转平移矩阵，对处于自然站立姿态的畜禽的表型进行三维重建，得到畜禽表型信息；
所述基于蓝色球体的深度信息和各摄像装置的内参数，确定各所述摄像装置获取到的物体点云之前包括：
采集4个所述摄像装置的彩色图和与彩色图对齐过的深度图，将彩色图像的RGB格式转换为HSV格式，得到HSV格式图像；
对蓝色球体的HSV格式图像的参数进行调节得到掩膜图像；
将所述掩膜图像中所述蓝色球体的区域映像在所述蓝色球体的深度图上，得到所述蓝色球体的深度信息；
其中，各摄像装置拍摄的蓝色球体的彩色图像中无重合区域。
2.根据权利要求1所述的用于畜禽表型3D重建的多相机快速标定方法，其特征在于，所述基于蓝色球体的深度信息和各摄像装置的内参数，确定各所述摄像装置获取到的物体点云包括：
基于蓝色球体对应的各图像点的深度，确定各所述图像点的第一点云坐标，各摄像装置的内参数包括图像中心点纵坐标像素位置、图像中心点横坐标像素位置、横向像素焦距以及纵向像素焦距；
基于各所述图像点的深度、所述图像中心点横坐标像素位置以及所述横向像素焦距，确定各所述图像点的第二点云坐标；
基于各所述图像点的深度、所述图像中心点纵坐标像素位置以及所述纵向像素焦距，确定各所述图像点的第三点云坐标；
根据所述第一点云坐标、所述第二点云坐标以及所述第三点云坐标，确定各所述摄像装置获取到的物体点云。
3.根据权利要求1所述的用于畜禽表型3D重建的多相机快速标定方法，其特征在于，所述物体点云包括所述其他摄像装置获取到的源点云以及所述目标摄像装置获取到的目标点云，所述用于畜禽表型3D重建的多相机快速标定方法还包括：
确定所述其他摄像装置对应的旋转矩阵和平移变量；
基于所述旋转矩阵和所述平移变量，确定所述源点云变换到所述目标点云的位置后得到的距离误差；
在所述距离误差小于预设阈值的情况下，确定变换后的源点云与所述目标点云重合。
4.一种用于畜禽表型3D重建的多相机快速标定装置，其特征在于，包括：
物体点云获取模块，用于基于蓝色球体的深度信息和各摄像装置的内参数，确定各所述摄像装置获取到的物体点云；所述摄像装置为4个；所述蓝色球体为4个；
物体中心获取模块，用于根据各所述物体点云，确定各所述摄像装置获取到的物体中心；
物体点云调整模块，用于基于初始旋转平移矩阵和各所述物体中心，对各所述物体点云进行调整；
摄像装置标定模块，用于在各所述物体中心重合的情况下停止所述调整，得到标定好的摄像装置，各所述标定好的摄像装置具有对应的目标旋转平移矩阵，所述目标旋转平移矩阵是对所述初始旋转平移矩阵进行更新后得到的；
所述物体中心获取模块包括：随机点选取单元，用于从各所述摄像装置获取到的第一物体的物体点云中选取随机点，所述第一物体是各所述蓝色球体中的一个；物体中心确定单元，用于基于所述随机点的点云坐标，确定各所述摄像装置获取到的所述第一物体的物体中心；
通过非共面多点确定球心的方法，对各所述摄像装置获取到的各所述物体点云进行球形拟合，并计算拟合球心的坐标，拟合球心的坐标为其对应的蓝色球体的真实球心坐标；随机从每一摄像装置获取到的每一物体点云中获取4个点的点云坐标值（x，y，z），带入公式中，求解出/>、/>、/>，即为球体球心世界坐标系；
所述摄像装置包括目标摄像装置和其他摄像装置，所述物体点云调整模块包括：主坐标确定单元，用于确定所述目标摄像装置的世界坐标系为主坐标；点云调整单元，用于通过初始旋转平移矩阵和所述主坐标，对所述其他摄像装置获取到的物体点云进行调整，直至所述目标摄像装置获取到的物体中心与所述其他摄像装置获取到的物体中心重合；
所述用于畜禽表型3D重建的多相机快速标定装置还包括：畜禽表型信息获取模块，用于基于各所述标定好的摄像装置对应的目标旋转平移矩阵，对处于自然站立姿态的畜禽的表型进行三维重建，得到畜禽表型信息；
所述基于蓝色球体的深度信息和各摄像装置的内参数，确定各所述摄像装置获取到的物体点云之前包括：采集4个所述摄像装置的彩色图和与彩色图对齐过的深度图，将彩色图像的RGB格式转换为HSV格式，得到HSV格式图像；对蓝色球体的HSV格式图像的参数进行调节得到掩膜图像；将所述掩膜图像中所述蓝色球体的区域映像在所述蓝色球体的深度图上，得到所述蓝色球体的深度信息；
其中，各摄像装置拍摄的蓝色球体的彩色图像中无重合区域。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述用于畜禽表型3D重建的多相机快速标定方法。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述用于畜禽表型3D重建的多相机快速标定方法。
CN202311021720.1A 2023-08-15 2023-08-15 用于畜禽表型3d重建的多相机快速标定方法及存储介质 Active CN116758170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311021720.1A CN116758170B (zh) 2023-08-15 2023-08-15 用于畜禽表型3d重建的多相机快速标定方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311021720.1A CN116758170B (zh) 2023-08-15 2023-08-15 用于畜禽表型3d重建的多相机快速标定方法及存储介质

Publications (2)

Publication Number Publication Date
CN116758170A CN116758170A (zh) 2023-09-15
CN116758170B true CN116758170B (zh) 2023-12-22

Family

ID=87948119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311021720.1A Active CN116758170B (zh) 2023-08-15 2023-08-15 用于畜禽表型3d重建的多相机快速标定方法及存储介质

Country Status (1)

Country Link
CN (1) CN116758170B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484648A (zh) * 2014-11-27 2015-04-01 浙江工业大学 基于轮廓识别的机器人可变视角障碍物检测方法
CN106780592A (zh) * 2016-06-30 2017-05-31 华南理工大学 基于相机运动和图像明暗的Kinect深度重建算法
CN111308448A (zh) * 2018-12-10 2020-06-19 杭州海康威视数字技术股份有限公司 图像采集设备与雷达的外参确定方法及装置
US10839557B1 (en) * 2018-04-03 2020-11-17 A9.Com, Inc. Camera calibration for augmented reality
CN116452644A (zh) * 2023-04-21 2023-07-18 北京石油化工学院 基于特征描述子的三维点云配准方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484648A (zh) * 2014-11-27 2015-04-01 浙江工业大学 基于轮廓识别的机器人可变视角障碍物检测方法
CN106780592A (zh) * 2016-06-30 2017-05-31 华南理工大学 基于相机运动和图像明暗的Kinect深度重建算法
US10839557B1 (en) * 2018-04-03 2020-11-17 A9.Com, Inc. Camera calibration for augmented reality
CN111308448A (zh) * 2018-12-10 2020-06-19 杭州海康威视数字技术股份有限公司 图像采集设备与雷达的外参确定方法及装置
CN116452644A (zh) * 2023-04-21 2023-07-18 北京石油化工学院 基于特征描述子的三维点云配准方法、装置及存储介质

Also Published As

Publication number Publication date
CN116758170A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN108009531B (zh) 一种多策略防欺诈的人脸识别方法
CN106651942B (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN107506693B (zh) 畸变人脸图像校正方法、装置、计算机设备和存储介质
CN105335725B (zh) 一种基于特征融合的步态识别身份认证方法
US20220157047A1 (en) Feature Point Detection
CN104933389B (zh) 一种基于指静脉的身份识别方法和装置
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN111091063A (zh) 活体检测方法、装置及***
JP2016103230A (ja) 画像処理装置、画像処理方法、及びプログラム
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
WO2021139494A1 (zh) 基于单目摄像头的动物体在线核赔方法、装置及存储介质
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、***和存储介质
CN112712518B (zh) 鱼类计数方法、装置、电子设备及存储介质
CN110807807B (zh) 一种单目视觉的目标定位的图案、方法、装置及设备
WO2022179549A1 (zh) 一种标定方法、装置、计算机设备和存储介质
CN107590444A (zh) 静态障碍物的检测方法、装置及存储介质
CN104268550B (zh) 特征提取方法及装置
CN113008380B (zh) 一种智慧ai体温预警方法、***及存储介质
CN110321869A (zh) 基于多尺度融合网络的人员检测和提取方法
CN116758170B (zh) 用于畜禽表型3d重建的多相机快速标定方法及存储介质
CN115841668A (zh) 一种双目视觉苹果识别以及精准定位的方法
CN110751163A (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
CN109410272A (zh) 一种变压器螺母识别与定位装置及方法
CN116503387B (zh) 图像检测方法、装置、设备、***及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant