CN113379824A - 一种基于双视角点云配准的类圆形水果纵横径测量方法 - Google Patents

Abstract

本发明公开了一种基于双视角点云配准的类圆形水果纵横径测量方法。方法包括：首先布置好双视角采集***并进行主相机与副相机的位姿标定，获得用于点云粗配准的初始转换矩阵；之后通过迭代最小化正确匹配点对的距离误差，迭代得到优化转换矩阵；控制主相机与副相机同步采集水果点云，利用优化转换矩阵对获取的水果点云进行精配准、下采样、滤波及离群点去除，最后采用OBB包围盒获取类圆形水果的纵横径。本发明能够避免对于类圆形水果的损伤；同时通过迭代得到的优化转换矩阵进行点云精配准，有利于解决多视角点云配准过程中匹配点计算量大，点云数量多、耗时长等困难，能够做到省时省力，有利于类圆形水果的在线生产。

Description

一种基于双视角点云配准的类圆形水果纵横径测量方法

技术领域

本发明涉及一种类圆形水果纵横径测量方法，尤其是涉及了一种基于双视角点云配准的类圆形水果纵横径测量方法。

背景技术

我国是世界上的水果产量大国，近年水果总产量达到25688.35万吨，其中常见类圆形水果苹果、柑橘及甜瓜总产量分别达到了4242.54万吨、4584.54万吨及1355.70万吨。对类圆形水果进行品质分级有利于提升其商品化品质，促进类圆形水果在流通中按质论价、优质优价。类圆形水果的纵径及横径是果形的重要参数之一(GB/T 12947-2008鲜柑橘、GB/T 10651-2008鲜苹果)，同时也是品质分级的重要依据。与传统人工测量耗时耗力相比较，采用机器视觉技术通过双视角点云配准的方法测量类圆形水果的纵横径，具有非接触且快速无损等优势，且有重要的实际应用价值。

精确的类圆形水果纵横径尺寸的获得，需要对类圆形水果进行纵剖与横剖，但是采用剖切的方法一方面会对类圆形水果造成严重损伤，同时也无法用于类圆形水果的分级生产过程中。

利用二维图像测量水果纵横径外形的常见方法主要有最小外接法及边界点测量法：章文英等(2001)(章文英,应义斌.苹果图象的低层处理及尺寸检测[J].浙江农业学报,2001(04):38-41.)利用链符法搜索并细化轮廓线后，利用最小外接矩形求苹果的纵径与横径，结果显示测量尺寸与实际尺寸相关系数达到了0.955；魏新华等(2011)(沈宝国,魏新华,尹建军.基于最小外接圆法的苹果直径检测技术[J].农机化研究,2011,33(12):131-134.)对12个样本苹果采集了144幅图像，利用最小外接圆法测量苹果直径，拟合方程的相关系数达到了0.988；龚昌来等(2013)(龚昌来,罗聪,黄杰贤,杨冬涛.基于机器视觉的柚子尺寸检测***的研究[J].农机化研究,2013,35(11):22-25.)利用机器视觉获得目标图像的上、下、左、右4个边界点，通过边界点来估算柚子的纵径与横径。基于二维图像测量水果纵横径的方法能够快速实现水果纵横径的计算，但是其对于表面具有较强反光特性的类圆形水果光照环境设置等提出了较高的要求。

近年来，随着三维重建技术以及消费级图像采集设备的发展，有学者利用生成水果全表面点云的方式进行三维重建测量水果尺寸或体积：Yawe等(2020)(Yawei,W,YifeiC.FruitMorphologicalMeasurement Based on Three-DimensionalReconstruction.Agronomy，2020,10,455)将梨置于旋转台上，利用9张图片得到了梨的三维点云图，并计算了其三维尺寸。但是该方法存在匹配点计算量大，点云数量多等困难，耗时长，不适于生产现场。此外，蜜柚等表面较为光滑的类圆形水果无明显特征点可用来进行信息匹配。

发明内容

为了解决背景技术中存在的问题和需求，本发明提供了一种基于双视角点云配准的类圆形水果纵横径测量方法。

本发明的技术方案如下：

本发明包括以下步骤：

1)搭建双视角采集***：所述双视角采集***包括置物平台、类圆形水果、两个RGBD相机、同步线、数据传输线、标定板和主机；

两个RGBD相机和主机均放置于置物平台上，两个RGBD相机之间用同步线连接，两个RGBD相机分别通过数据传输线与主机相连，类圆形水果或者标定板放置于置物平台上，类圆形水果或者标定板放置在两个RGBD相机和主机的一侧；两个RGBD相机的光轴均朝向类圆形水果或者标定板，并且两个RGBD相机的光轴成夹角布置；

2)建立世界坐标系：记其中一个RGBD相机为主相机C₁，另一个RGBD相机为副相机C₂，以主相机C₁的光心为世界坐标系的原点，以主相机C₁的光轴向外为世界坐标系的Z轴，世界坐标系的X轴与Y轴构成的平面平行于主相机C₁的成像平面，X轴与Y轴垂直；

3)标定主相机C₁、副相机C₂位姿：将标定板置于置物平台上，利用双视角采集***对标定板进行采集，获取主相机C₁与副相机C₂各自采集的标定板彩色图像和对应的标定板深度图像，通过双目标定方法对主相机C₁与副相机C₂各自采集的标定板彩色图像进行处理后，获得将副相机C₂坐标转换至主相机C₁坐标的初始转换矩阵T₁₂，由主相机C₁与副相机C₂各自采集的标定板彩色图像和对应的标定板深度图像分别组成主相机标定板点云和副相机标定板点云；

4)主相机、副相机标定板点云粗配准并配对，获得粗配准标定板点云的所有正确匹配点对；

5)优化初始转换矩阵T₁₂；

6)重复步骤5)迭代优化转换矩阵T₁₂，获得优化转换矩阵

7)获取类圆形水果的主、副点云：将类圆形水果置于置物平台上，控制两个RGBD相机同步采集类圆形水果的主点云与副点云；

8)类圆形水果的主、副点云精配准：利用步骤6)得到的优化转换矩阵

将类圆形水果的主点云与副点云配准得到类圆形水果的精配准水果点云；

9)精配准水果点云下采样：使用VoxelGrid滤波器对精配准水果点云进行下采样，获得精配准下采样水果点云；

10)精配准下采样水果点云滤波：设置点云世界坐标系的X轴的取值范围为(x_min，x_max)，Y轴的取值范围为(y_min，y_max)，Z轴的取值范围为(z_min，z_max)，根据X轴、Y轴和Z轴的取值范围利用ConditionAnd算法除去精配准下采样水果点云的外部噪声点云，得到精配准滤波水果点云；

11)精配准滤波水果点云离群点去除：取精配准滤波水果点云中的任意一空间点k，获得当前空间点k相邻的50个空间点，计算出当前空间点k与相邻的50个空间点的平均距离，利用高斯分布选取1.5倍平均距离范围外的空间点作为当前空间点k的离群点并进行去除，遍历精配准滤波水果点云中的所有空间点，得到去离群点精配准水果点云；

12)纵横径测量：采用有向最小包围盒OBB算法对去离群点精配准水果点云进行处理后绘制出类圆形水果的最小OBB包围盒，提取最小OBB包围盒轴向与类圆形水果纵径方向及横径方向一致的纵径及横径，得到类圆形水果的纵径H及横径W。

所述步骤4)具体为：

4.1)利用初始转换矩阵T₁₂将副相机标定板点云与主相机标定板点云进行配准得到粗配准标定板点云；

4.2)在粗配准点云中，任取主相机标定板点云中的一个空间点，在副相机标定板点云中寻找与当前空间点的间距小于误差阈值d的空间点，如果存在，则两个空间点作为一个正确匹配点对；遍历副相机标定板点云，寻找当前空间点的对应的所有正确匹配点对；如果不存在，则当前空间点没有正确匹配点对；

4.3)遍历主相机标定板点云中的所有空间点，获得粗配准标定板点云的所有正确匹配点对。

所述步骤5)具体为：

5.1)计算主相机、副相机点集合的质心：将粗配准标定板点云的所有正确匹配点中的主相机标定板点云和副相机标定板点云分别记为主相机点集合P和副相机点集合Q，分别满足P＝(p₁，p₂，…，p_i，…，p_n，)和Q＝(q₁，q₂，…，q_i，…，q_n)，其中p_i表示主相机点集合P中第i个空间点，q_i表示副相机点集合Q中第i个空间点，n表示粗配准标定板点云中正确匹配点对的对数，主相机点集合P和副相机点集合Q的质心q分别为：

5.2)计算主相机、副相机点集合中以质心为原点的空间点坐标：主相机点集合P中以质心p为原点的空间点坐标p′_i以及副相机点集合Q中以质心q为原点的空间点坐标q′_i分别为：

p′_i＝p_i-p

q′_i＝q_i-q

5.3)计算第i对正确匹配点对的距离误差e_i，满足e_i＝|p_i-(R·q_i+t)|，其中R表示当前次迭代的旋转矩阵，t表示当前次迭代的平移矩阵，则所有正确匹配点对的距离误差平方和E(R，t)为：

5.4)对所有正确匹配点对的距离误差平方和进行SVD分解后获得优化转换矩阵T′₁₂。

所述步骤6)具体为：

不断重复步骤5)进行迭代，直至达到以下迭代终止条件之一时停止迭代；迭代终止条件1：达到最大迭代次数，迭代终止条件2：所有正确匹配点对的距离误差平方和E(R，t)小于给定的终止误差值；得到优化转换矩阵

所述初始转换矩阵T₁₂由初始旋转矩阵R₁₂与初始平移矩阵t₁₂组成。

本发明的有益效果为：

本发明对表面具有较强反光特性的类圆形水果光照环境要求低，能够避免对于类圆形水果的损伤；同时通过迭代得到的优化转换矩阵进行点云精配准，有利于解决多视角点云配准过程中匹配点计算量大，点云数量多、耗时长等困难，能够做到省时省力，实现了类圆形水果的纵横径测量，有利于类圆形水果的在线生产。

附图说明

图1是本发明的整体流程图。

图2是本发明的双视角采集***布置图。

图3是本发明标定过程的标定板粗配准点云图。

图4是本发明标定过程的标定板精配准点云图。

图5是本发明类圆形水果的主点云图。

图6是本发明类圆形水果的副点云图。

图7是本发明类圆形水果的精配准滤波水果点云图。

图8是本发明类圆形水果的去离群点精配准水果点云图。

图9是本发明类圆形水果的最小OBB包围盒图。

图中：1、置物平台，2、类圆形水果，3、RGBD相机，4、同步线，5、数据传输线，6、主机。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明选取类圆形水果蜜柚实施例如下：

如图1所示，本发明包括以下步骤：

1)如图2所示，搭建双视角采集***：双视角采集***包括置物平台(1)、类圆形水果(2)、两个RGBD相机(3)、同步线(4)、数据传输线(5)、标定板和主机(6)；

两个RGBD相机(3)和主机(6)均放置于置物平台(1)上，两个RGBD相机(3)之间用同步线连接，用于控制两个RGBD相机(3)同步采集点云，两个RGBD相机(3)分别通过数据传输线(5)与主机(6)相连，类圆形水果(2)或者标定板放置于置物平台(1)上，类圆形水果(2)或者标定板放置在两个RGBD相机(3)和主机(6)的一侧；两个RGBD相机(3)的光轴均朝向类圆形水果(2)或者标定板，并且两个RGBD相机(3)的光轴成夹角布置；

2)建立世界坐标系：记其中一个RGBD相机(3)为主相机C₁，另一个RGBD相机(3)为副相机C₂，以主相机C₁的光心为世界坐标系的原点，以主相机C₁的光轴向外为世界坐标系的Z轴，世界坐标系的X轴与Y轴构成的平面平行于主相机C₁的成像平面，水平向右为X轴，竖直向下为Y轴；

3)标定主相机C₁、副相机C₂位姿：将标定板置于置物平台(1)上，利用双视角采集***对标定板进行采集，获取主相机C₁与副相机C₂各自采集的标定板彩色图像和对应的标定板深度图像，通过双目标定方法对主相机C₁与副相机C₂各自采集的标定板彩色图像进行处理后，获得将副相机C₂坐标转换至主相机C₁坐标的初始转换矩阵T₁₂，初始转换矩阵T₁₂由初始旋转矩阵R₁₂与初始平移矩阵t₁₂组成。由主相机C₁与副相机C₂各自采集的标定板彩色图像和对应的标定板深度图像分别组成主相机标定板点云和副相机标定板点云；

初始转换矩阵T₁₂、初始旋转矩阵R₁₂与初始平移矩阵t₁₂分别为：

t₁₂＝[-0.5935 0.00787 0.05856]

4)主相机、副相机标定板点云粗配准并配对，获得粗配准标定板点云的所有正确匹配点对；

步骤4)具体为：

4.1)利用初始转换矩阵T₁₂将副相机标定板点云与主相机标定板点云进行配准得到粗配准标定板点云，如图3所示；

4.2)在粗配准点云中，任取主相机标定板点云中的一个空间点，在副相机标定板点云中寻找与当前空间点的间距小于误差阈值d的空间点，如果存在，则两个空间点作为一个正确匹配点对；遍历副相机标定板点云，寻找当前空间点的对应的所有正确匹配点对；如果不存在，则当前空间点没有正确匹配点对；

4.3)遍历主相机标定板点云中的所有空间点，获得粗配准标定板点云的所有正确匹配点对。

5)优化初始转换矩阵T₁₂；

步骤5)具体为：

5.1)计算主相机、副相机点集合的质心：将粗配准标定板点云的所有正确匹配点中的主相机标定板点云和副相机标定板点云分别记为主相机点集合P和副相机点集合Q，分别满足P＝(p₁，p₂，…，p_i，…，p_n，)和Q＝(q₁，q₂，…，q_i，…，q_n)，其中p_i表示主相机点集合P中第i个空间点，q_i表示副相机点集合Q中第i个空间点，n表示粗配准标定板点云中正确匹配点对的对数，主相机点集合P和副相机点集合Q的质心q分别为：

5.2)计算主相机、副相机点集合中以质心为原点的空间点坐标：主相机点集合P中以质心p为原点的空间点坐标p′_i以及副相机点集合Q中以质心q为原点的空间点坐标q′_i分别为：

p′_i＝p_i-p

q′_i＝q_i-q

5.3)计算第i对正确匹配点对的距离误差e_i，满足e_i＝|p_i-(R·q_i+t)|，其中R表示当前次迭代的旋转矩阵，t表示当前次迭代的平移矩阵，则所有正确匹配点对的距离误差平方和E(R，t)为：

5.4)对所有正确匹配点对的距离误差平方和进行SVD分解后获得优化转换矩阵T′₁₂。

6)重复步骤5)迭代优化转换矩阵T₁₂，获得优化转换矩阵

步骤6)具体为：

不断重复步骤5)进行迭代，直至达到以下迭代终止条件之一时停止迭代；迭代终止条件1：达到最大迭代次数，迭代终止条件2：所有正确匹配点对的距离误差平方和E(R，t)小于给定的终止误差值；得到优化转换矩阵

优化转换矩阵

由优化后的旋转矩阵R^*和优化后的平移矩阵t^*组成；将副相机标定板点云与主相机标定板点云进行配准得到的精配准标定板点云，如图4所示；

优化转换矩阵

优化后的旋转矩阵R^*和优化后的平移矩阵t^*分别为：

t^*＝[-0.73497 0.016825 -0.03818]

7)获取类圆形水果的主、副点云：将类圆形水果(2)置于置物平台(1)上，控制两个RGBD相机(3)同步采集类圆形水果(2)的主点云与副点云，如图5和6所示；

8)类圆形水果的主、副点云精配准：利用步骤6)得到的优化转换矩阵

将类圆形水果(2)的主点云与副点云配准得到类圆形水果(2)的精配准水果点云；

9)精配准水果点云下采样：使用VoxelGrid滤波器对精配准水果点云进行下采样，以减少点云数量，获得精配准下采样水果点云；

10)精配准下采样水果点云滤波：设置点云世界坐标系的X轴的取值范围为(x_min,x_max)，Y轴的取值范围为(y_min,y_max)，Z轴的取值范围为(z_min,z_max)，根据X轴、Y轴和Z轴的取值范围利用ConditionAnd算法除去精配准下采样水果点云的外部噪声点云，得到精配准滤波水果点云，如图7所示；

11)精配准滤波水果点云离群点去除：取精配准滤波水果点云中的任意一空间点k，获得当前空间点k相邻的50个空间点，计算出当前空间点k与相邻的50个空间点的平均距离，利用高斯分布选取1.5倍平均距离范围外的空间点作为当前空间点k的离群点并进行去除，遍历精配准滤波水果点云中的所有空间点，得到去离群点精配准水果点云，如图8所示；

12)纵横径测量：采用有向最小包围盒OBB算法对去离群点精配准水果点云进行处理后绘制出类圆形水果的最小OBB包围盒，如图9所示，提取最小OBB包围盒轴向与类圆形水果纵径方向及横径方向一致的纵径及横径，得到类圆形水果的纵径H及横径W。

表1列出的是根据本实施例选取直径65mm圆球连续进行10次测量获得的直径数据，其中圆球真值取10次游标卡尺测量均值为65.24mm。

表1 65mm圆球直径测量数据表

Claims (5)

1.一种基于双视角点云配准的类圆形水果纵横径测量方法，其特征在于，包括以下步骤：

1)搭建双视角采集***：所述双视角采集***包括置物平台(1)、类圆形水果(2)、两个RGBD相机(3)、同步线(4)、数据传输线(5)、标定板和主机(6)；

两个RGBD相机(3)和主机(6)均放置于置物平台(1)上，两个RGBD相机(3)之间用同步线连接，两个RGBD相机(3)分别通过数据传输线(5)与主机(6)相连，类圆形水果(2)或者标定板放置于置物平台(1)上，类圆形水果(2)或者标定板放置在两个RGBD相机(3)和主机(6)的一侧；两个RGBD相机(3)的光轴均朝向类圆形水果(2)或者标定板，并且两个RGBD相机(3)的光轴成夹角布置；

2)建立世界坐标系：记其中一个RGBD相机(3)为主相机C₁，另一个RGBD相机(3)为副相机C₂，以主相机C₁的光心为世界坐标系的原点，以主相机C₁的光轴向外为世界坐标系的Z轴，世界坐标系的X轴与Y轴构成的平面平行于主相机C₁的成像平面，X轴与Y轴垂直；

3)标定主相机C₁、副相机C₂位姿：将标定板置于置物平台(1)上，利用双视角采集***对标定板进行采集，获取主相机C₁与副相机C₂各自采集的标定板彩色图像和对应的标定板深度图像，通过双目标定方法对主相机C₁与副相机C₂各自采集的标定板彩色图像进行处理后，获得将副相机C₂坐标转换至主相机C₁坐标的初始转换矩阵T₁₂，由主相机C₁与副相机C₂各自采集的标定板彩色图像和对应的标定板深度图像分别组成主相机标定板点云和副相机标定板点云；

4)主相机、副相机标定板点云粗配准并配对，获得粗配准标定板点云的所有正确匹配点对；

5)优化初始转换矩阵T₁₂；

6)重复步骤5)迭代优化转换矩阵T₁₂，获得优化转换矩阵

7)获取类圆形水果的主、副点云：将类圆形水果(2)置于置物平台(1)上，控制两个RGBD相机(3)同步采集类圆形水果(2)的主点云与副点云；

8)类圆形水果的主、副点云精配准：利用步骤6)得到的优化转换矩阵

将类圆形水果(2)的主点云与副点云配准得到类圆形水果(2)的精配准水果点云；

9)精配准水果点云下采样：使用VoxelGrid滤波器对精配准水果点云进行下采样，获得精配准下采样水果点云；

10)精配准下采样水果点云滤波：设置点云世界坐标系的X轴的取值范围为(x_min，x_max)，Y轴的取值范围为(y_min，y_max)，Z轴的取值范围为(z_min，z_max)，根据X轴、Y轴和Z轴的取值范围利用ConditionAnd算法除去精配准下采样水果点云的外部噪声点云，得到精配准滤波水果点云；

11)精配准滤波水果点云离群点去除：取精配准滤波水果点云中的任意一空间点k，获得当前空间点k相邻的50个空间点，计算出当前空间点k与相邻的50个空间点的平均距离，利用高斯分布选取1.5倍平均距离范围外的空间点作为当前空间点k的离群点并进行去除，遍历精配准滤波水果点云中的所有空间点，得到去离群点精配准水果点云；

12)纵横径测量：采用有向最小包围盒OBB算法对去离群点精配准水果点云进行处理后绘制出类圆形水果的最小OBB包围盒，提取最小OBB包围盒轴向与类圆形水果纵径方向及横径方向一致的纵径及横径，得到类圆形水果的纵径H及横径W。

2.根据权利要求1所述的一种基于双视角点云配准的类圆形水果纵横径测量方法，其特征在于，所述步骤4)具体为：

4.1)利用初始转换矩阵T₁₂将副相机标定板点云与主相机标定板点云进行配准得到粗配准标定板点云；

4.2)在粗配准点云中，任取主相机标定板点云中的一个空间点，在副相机标定板点云中寻找与当前空间点的间距小于误差阈值d的空间点，如果存在，则两个空间点作为一个正确匹配点对；遍历副相机标定板点云，寻找当前空间点的对应的所有正确匹配点对；如果不存在，则当前空间点没有正确匹配点对；

4.3)遍历主相机标定板点云中的所有空间点，获得粗配准标定板点云的所有正确匹配点对。

3.根据权利要求1所述的一种基于双视角点云配准的类圆形水果纵横径测量方法，其特征在于，所述步骤5)具体为：

5.1)计算主相机、副相机点集合的质心：将粗配准标定板点云的所有正确匹配点中的主相机标定板点云和副相机标定板点云分别记为主相机点集合P和副相机点集合Q，分别满足P＝(p₁，p₂，…，p_i，…，p_n，)和Q＝(q₁，q₂，…，q_i，…，q_n)，其中p_i表示主相机点集合P中第i个空间点，q_i表示副相机点集合Q中第i个空间点，n表示粗配准标定板点云中正确匹配点对的对数，主相机点集合P和副相机点集合Q的质心q分别为：

5.2)计算主相机、副相机点集合中以质心为原点的空间点坐标：主相机点集合P中以质心p为原点的空间点坐标p′_i以及副相机点集合Q中以质心q为原点的空间点坐标q′_i分别为：

p′_i＝p_i-p

q′_i＝q_i-q

5.3)计算第i对正确匹配点对的距离误差e_i，满足e_i＝|p_i-(R·q_i+t)|，其中R表示当前次迭代的旋转矩阵，t表示当前次迭代的平移矩阵，则所有正确匹配点对的距离误差平方和E(R，t)为：

5.4)对所有正确匹配点对的距离误差平方和进行SVD分解后获得优化转换矩阵T′₁₂。

4.根据权利要求1所述的一种基于双视角点云配准的类圆形水果纵横径测量方法，其特征在于，所述步骤6)具体为：

不断重复步骤5)进行迭代，直至达到以下迭代终止条件之一时停止迭代；迭代终止条件1：达到最大迭代次数，迭代终止条件2：所有正确匹配点对的距离误差平方和E(R，t)小于给定的终止误差值；得到优化转换矩阵

5.根据权利要求1所述的一种基于双视角点云配准的类圆形水果纵横径测量方法，其特征在于，所述初始转换矩阵T₁₂由初始旋转矩阵R₁₂与初始平移矩阵t₁₂组成。

Images