CN112465832B - 一种基于双目视觉的单面树木点云骨架线提取方法及*** - Google Patents
一种基于双目视觉的单面树木点云骨架线提取方法及*** Download PDFInfo
- Publication number
- CN112465832B CN112465832B CN202011343171.6A CN202011343171A CN112465832B CN 112465832 B CN112465832 B CN 112465832B CN 202011343171 A CN202011343171 A CN 202011343171A CN 112465832 B CN112465832 B CN 112465832B
- Authority
- CN
- China
- Prior art keywords
- skeleton
- point
- candidate
- value
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 21
- 238000005070 sampling Methods 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000003384 imaging method Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 15
- 230000008602 contraction Effects 0.000 claims description 7
- 101100272279 Beauveria bassiana Beas gene Proteins 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 230000002146 bilateral effect Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 abstract 1
- 230000002776 aggregation Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000001595 contractor effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 235000015097 nutrients Nutrition 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双目视觉的单面树木点云骨架线提取方法及***。方法包括：S1，获取由双目立体相机从单个角度拍摄目标树木得到的左右视图图像；S2，基于左右视图图像获取深度图，根据相机成像原理将深度图转换为点云模型，点云模型记为单面树木点云；S3，通过下采样算法从单面树木点云中提取N个采样点；S4，将采样点集P划分为M个分割区域；S5，基于中值算法迭代收缩获得骨架点，将聚拢程度最高的预设半径作为本次迭代中候选骨架点的邻域半径更新值；S6，连接骨架点获得骨架线。对输入点云进行下采样，使点云均匀分布在模型表面，根据邻域内采样点聚拢在候选骨架点周围的程度来调节邻域半径大小，骨架线更准确。
Description
技术领域
本发明涉及树木点云骨架线提取技术领域，特别是涉及一种基于双目视觉的单面树木点云骨架线提取方法及***。
背景技术
随着计算机视觉技术的发展和普及，树木点云模型频繁应用于虚拟现实、古树名木保护、树木生长研究、农林业等领域。树木骨架作为树木三维信息的一维表达形式，保持了和树木点云模型相同的形状结构和特征信息，更直观的反应其拓扑结构及整体形状。树木骨架线比树木点云模型更直接表达植物特性，如植被生长养分研究使用骨架线代替整棵树木模型能更直观的了解养分在树干、分枝的走向，所以从三维点云中提取树木骨架线有重要应用意义。
获取树木骨架首先需要获得真实世界中树木的三维数据，点云获取的方法目前主要有两类：一类通过三维扫描设备对真实树木进行全方位扫描获取树木表面的三维点云信息，二类是使用摄像机对树木进行全方位的图像采集，再利用相机成像原理和图像处理技术获取树木表面的三维点云。获取全方位的点云数据需要足够的时间和空间，实际采集过程中由于拍摄环境或应用场景限制无法获取全方位的点云数据，比如森林中草木茂盛，树木之间相互遮挡无法对树木所有角度进行采集；拍摄环境限制只能对空旷地方的树木进行单次采集。实际应用，如自动驾驶过程中对户外场景进行扫描只能获取树木的单面扫描结果。
近些年，越来越多的学者研究从树木点云中提取骨架线，但是目前的研究多是从相对完整的树木三维点云中提取。然而树木点云实际采集过程中由于拍摄环境或应用场景限制只能获取单个角度的树木点云信息，即单面树木点云。树木本身分叉繁多、拓扑信息极其复杂，对于只有单面点云数据的树木，点云大量缺失，严重缺乏其结构信息，连通性和拓扑性也无法准确获取。另外，设备和算法误差导致点云分布不均匀、存在噪音。因此，为了解决这些问题，基于双目立体相机对树木一次拍摄获取的单面树木点云，本文提出了一种针对单面树木点云的骨架线提取方法。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于双目视觉的单面树木点云骨架线提取方法及***。
为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于双目视觉的单面树木点云骨架线提取方法，包括：S1，获取由双目立体相机从单个角度拍摄目标树木得到的左右视图图像；S2，基于所述左右视图图像获取深度图，根据相机成像原理将所述深度图转换为点云模型，所述点云模型记为单面树木点云；S3，通过下采样算法从所述单面树木点云中提取N个采样点构成采样点集P，N为正整数；S4，将采样点集P划分为M个分割区域，为每个采样点设置标记所述采样点所属分割区域的分割标签，所述M的大小由N确定，M为正整数，M小于N；S5，在M个分割区域中基于L1-中值算法迭代收缩获得骨架点，在每次迭代中为每个候选骨架点的邻域预设多个半径，基于邻域预设半径获得对应的候选骨架点更新位置，获取不同预设半径下的邻域内采样点在所述邻域对应的候选骨架点更新位置周围的聚拢程度，将聚拢程度最高的预设半径作为本次迭代中候选骨架点的邻域半径更新值；S6，连接骨架点获得骨架线。
上述技术方案：本文通过双目立体相机拍摄树木单个角度的左右图像获取单面树木点云，利用单面树木点云提取树木骨架，利用下采样算法对输入点云进行下采样，使点云均匀分布在模型表面，并使用采样后的点指导点云分割，使区域分割更为合理和具有自适应性，基于L1-中值算法迭代收缩提取骨架点，且在迭代过程中，根据邻域内采样点聚拢在候选骨架点周围的程度来调节邻域半径大小，使得收缩效果更合理，加快迭代收缩速度，使得提取出的骨架线更准确地还原树木结构和姿态。
在本发明的一种优选实施方式中，所述S5包括：S51，参数设置步骤，具体包括：设采样点集P为I表示采样点集P的索引集合；设迭代次数为k，k的初始值为0；设分割区域集合S＝{sm}m∈M，sm表示第m个分割区域，分割标签集合C＝{ci}i∈I，ci表示第i个采样点的分割标签；设第j个候选骨架点的邻域半径hj的初始值/>为：/>dj为候选骨架点xj所在分割区域sj的对角线长度，Nj表示候选骨架点xj所在分割区域sj中采样点数量；设第一目标函数为：argmin∑i∈I∑j∈J||xj-pi||θ(||xj-pi||,j)+R(X)，其中，θ(r,j)为第一权重函数，/>r代表函数θ(r,j)的变量，pi第i个采样点的深度值，R(X)为正则项，/>第j个候选骨架点的局部排斥力调节参数分别表示以第j个骨架点为中心以hj为局部半径由采样点构成的局部点云进行主成分分析获得的第一主成分对应特征值、第二主成分对应特征值、第三主成分对应特征值，/>γj表示平衡常数；S52，从采样点集P中随机选择J个采样点作为候选骨架点集合X的初始值X0；S53，令k＝k+1，执行第k次迭代收缩过程：S531，对于每个分割区域中的每个候选骨架点，更新候选骨架点的邻域半径和位置，具体包括：步骤A，对于第j个候选骨架点，分别设置三个增量假设H0、H1和H2：/>其中，表示第j个候选骨架点第k－1次迭代邻域半径；/>表示第j个候选骨架点第k次迭代邻域半径，所述K1、K2分别表示第一比例系数、第二比例系数，0＜K1＜K2＜1；步骤B，分别基于三个增量假设下的第k次迭代邻域半径利用骨架点位置更新公式获得第j个候选骨架点第k次迭代的位置/>骨架点更新公式为：/>其中，第一迭代变量/>第二迭代变量/>μ表示候选骨架点集合X的局部排斥力参数；/> 分别为σj、/>的第k－1次迭代值；/>表示第j个候选骨架点在第k－1次迭代中的位置；/>表示候选骨架点集合X中除了第j个候选骨架点外的第j'个候选骨架点第k－1次迭代中的位置；步骤C，分别计算三个增量假设下的判别函数数值，将第j个候选骨架点的邻域半径和位置的第k次迭代值分别更新为判别函数数值最大的增量假设下计算获得的/>和/>所述判别函数为：/>D(xj”,sj)∈[0,1]；所述xj”表示第j个候选骨架点在增量假设下获得的候选骨架点位置/>Nj表示第j个候选骨架点所在分割区域sj中采样点的数量；η(xj”,sj)表示分割区域sj中满足到点xj”的距离在区间[0,σ(xj”,sj)]内的采样点的数量，σ(xj”,sj)表示分割区域sj的采样点到点xj”的距离的方差；S532，根据第k－1次迭代获得的候选骨架点集合X计算第一目标函数值获得第一数值，根据第k次迭代获得的候选骨架点集合X计算第一目标函数值获得第二数值，若第二数值相比第一数值的减小量达到误差阈值，将第k次迭代获得的候选骨架点集合X作为骨架点集合并输出，进入S6；若第二数值相比第一数值的减小量未达到误差阈值，返回S53。
上述技术方案：上述迭代收缩获取骨架点集合的过程中，设置了判别函数，邻域半径由判定函数确定，每次迭代中以判别函数值来选择候选骨架点最优收缩邻域半径和更新候选骨架点位置，保证每次更新的候选骨架点位置后，候选骨架点的收缩邻域内采样点聚集在更新后的候选骨架点位置周围的程度较高，这样能够加快收缩速度和提高骨架点的提取精度，以目标函数值的减小量作为停止迭代判断的输入信息，能够确保最后输出的骨架点集为最优结果。可以自适应地增加所有候选骨架点的邻半径，不同部分具有不同的邻域半径在点云收缩过程中也有不同的收缩速度。
在本发明的一种优选实施方式中，在S531和S532之间还包括步骤一，所述步骤一包括：对于任意相邻的两个分割区域su和sv，分别求取分割区域su和sv中候选骨架点位置的均值和/>将/>作为所述判别函数中的变量xj”，将su∪sv作为所述判别函数中的变量sj，求得第一判别函数数值；将/>作为所述判别函数中的变量xj”，将分割区域su作为所述判别函数中的变量sj，求得第二判别函数数值；将/>作为所述判别函数中变量xj”，将sv作为所述判别函数中变量，求得第三判别函数数值；计算第二判别函数数值与第三判别函数数值之和；若第一判别函数数值大于所述第二判别函数数值与第三判别函数数值之和，则合并相邻的分割区域su和sv，并更新分割区域su和sv中采样点的分割标签以及所述分割区域，若第一判别函数数值不大于所述第二判别函数数值与第三判别函数数值之和，不合并相邻的分割区间su和sv。
上述技术方案：在每次迭代中更新候选骨架点位置后，判断是否需要进行分割区域合并，邻域分段合并后更新采样点分割标签信息、分割区域，在初始迭代时，点云分割区域较细，每个分割区域较小，导致候选骨架点邻域半径值增加至某个值时停止增长，所以通过分割区域合并，扩大分割段区域，使得邻域半径能够继续增加，骨架点向新的分割区域继续移动，提升骨架点提取效果。
在本发明的一种优选实施方式中，所述S6包括：S61，定义骨架线为无向连通图T＝(X',En)，图T为一个树，En是T上最小生成树边的集合，En＝{＜xi',xj＞}；i',j∈J，X'表示所述S5中输出的骨架点集合，J表示骨架点集合X'的索引集合；S62，计算X'中所有骨架点之间的连接权重，所述连接权重为两个骨架点之间的欧式距离；对于X'中每个骨架点执行以下步骤：将和骨架点xi'的连接权重小于权重阈值的所有骨架点与骨架点xi'连接，构成连通图G＝(X',E)，E表示图G上的连接边集合；S63，基于连通图G＝(X',E)生成最小生成树，根据贪心策略选取连通图G＝(X',E)中边作为骨架线段获得骨架线。
上述技术方案：最后根据树木的先验知识，使用最小生成树算法对初始骨架点进行连接获得骨架线，使得骨架线能够更好地真实反映树木姿态和结构。
在本发明的一种优选实施方式中，在所述S4中，所述所述K为比例系数，K＞1。
上述技术方案：根据采样点集的采样点数量自适应确定分割区域数量M。
为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种基于双目视觉的单面树木点云骨架线提取***，包括双目立体相机和处理器，所述双目立体相机与处理器连接，所述双目立体相机以一定角度朝向目标树木拍摄；所述处理器执行本发明所述的基于双目视觉的单面树木点云骨架线提取方法提取出目标树木的骨架线。
上述技术方案：该***的双目立体相机具有设备便宜易获得的优点，通过双目立体相机拍摄树木单个角度的左右图像获取单面树木点云，利用单面树木点云提取树木骨架，利用下采样算法对输入点云进行下采样，使点云均匀分布在模型表面，并使用采样后的点指导点云分割，使区域分割更为合理和具有自适应性，基于L1-中值算法迭代收缩提取骨架点，且在迭代过程中，根据邻域内采样点聚拢在候选骨架点周围的程度来调节邻域半径大小，使得收缩效果更合理，加快迭代收缩速度，使得提取出的骨架线更准确地还原树木结构和姿态。
附图说明
图1是本发明一具体实施方式中基于双目视觉的单面树木点云骨架线提取方式流程示意图；
图2是本发明一具体实施方式中步骤S3－S6的流程示意图；
图3是本发明一具体实施方式中骨架点提取示意图；
图4是本发明一具体实施方式中候选骨架点的局部邻域示意图；
图5是本发明一具体实施方式中分割区域标签示意图；
图6是本发明一具体实施方式中分割区域合并示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明公开了一种基于双目视觉的单面树木点云骨架线提取方法，在一种优选实施方式中，该方法的流程示意图如图1和图2所示，包括：
S1，获取由双目立体相机从单个角度拍摄目标树木得到的左右视图图像；
S2，基于左右视图图像获取深度图，根据相机成像原理将深度图转换为点云模型，点云模型记为单面树木点云；
S3，通过下采样算法从单面树木点云中提取N个采样点构成采样点集P，N为正整数；
S4，将采样点集P划分为M个分割区域，为每个采样点设置标记采样点所属分割区域的分割标签，M的大小由N确定，M为正整数，M小于N；
S5，在M个分割区域中基于L1-中值算法迭代收缩获得骨架点，具体过程示意图如图3所示。在每次迭代中为每个候选骨架点的邻域预设多个半径，基于邻域预设半径获得对应的候选骨架点更新位置，获取不同预设半径下的邻域内采样点在邻域对应的候选骨架点更新位置周围的聚拢程度，将聚拢程度最高的预设半径作为本次迭代中候选骨架点的邻域半径更新值；
S6，连接骨架点获得骨架线。
在本实施方式中，步骤S1和S2的具体过程为：
①相机标定。使用Matlab相机标定工具对相机进行标定，获取相机参数。相机标定方法优选但不限于选择现有的棋盘格相机标定方法。
②图像预处理。相机组成部件的影响使得成像图案出现畸变，故采用张正友畸变模型消除相机畸变。另外，现实中的双目立体***左右成像平面不在同一个平面，而后续实验中通过视差获取深度图的计算是基于理想的平行双目立体***，故对图像进行极线校正，将两个方向不同的成像平面所示通过单应性矩阵进行刚体变换将图像重新投影到同一且光轴平行的平面上，从而达到两个成像平面极线水平，具体方法可参考如下现有技术：C.Hutton，A.Bork，O.Josephs，et al.Image distortion correction in MRI：aquantitative evaluation[J].Neuroimage，2002，16(1)：217－240，在此不再赘述。
③立体匹配。利用SGBM算法计算左右视图中每个像素点的视差，并将视差值转换成深度值，获取深度图。
④深度图修补。基于双目立体相机获取的深度图中存在像素值为0的空洞值，为了不影响点云的质量，对像素值缺失的像素点进行修补。优选的，深度图修补时根据空洞像素是否处于物体边缘，采用不同的修补算法。对于边缘区域的空洞像素，采用S－T DJBF算法进行修补，对于处于非边缘区域的待修补空洞像素采用S－T PDJBF算法进行修补。
⑤获取点云。根据三维坐标转换成图像坐标的原理，已知深度图和相机参数的情况下，进行矩阵变换，求取深度图中每个像素点在三维坐标系中的坐标值，得到点云模型，具体算法可参考如下现有技术：S.I.Tillery，M.Flanders，J.F.Soechting.A coordinatesystem for the synthesis of visual and kinesthetic information[J].Journal ofNeuroscience，1991，11(3)：770－778，在此不再赘述。
在本实施方式中，在步骤S3中，下采样算法优选但不限于为ALOP点云下采样方法、现有的FPS采样方法、现有的Feature－FPS采样方法。使用双目立体相机获得点云不可避免会存在噪音、点云分布不均匀的问题。噪音、点云分布不均匀会对之后提取的骨架线质量造成很大的影响。基于双目立体相机获取的点云模型形成噪音和分布不均匀的原因较复杂，大致分为三类：一是使用双目立体相机拍摄实验数据时硬件设备存在一定的误差，例如相机的像素分辨率、相机误差等等；二是拍摄的对象即自然界中的树木表面纹理复杂；三是测量***存在误差，利用双目立体相机获取点云模型过程中无论是相机还是拍摄的实验对象树木都无法保证绝对的静止，拍摄过程中震动引起位置变化必然存在***误差。除此以外，树木分支复杂、枝叶茂盛，树干之间相互遮挡，点云会出现大量的缺失，模型拓扑结构会由于缺失点云而不准确。对于具有噪声、分布不均和数据缺失问题的单面树木点云，采用ALOP算法对点云进行去噪，并重新分布数据点，使其均匀分布在模型表面。
在本实施方式中，在步骤S4中，根据点集P的个数确定点云需要划分的分割区域个数M。将采样点集P划分为M个分割区域，为每个采样点设置标记采样点所属分割区域的分割标签，M的大小由N确定，M为正整数，M小于N；可通过现有的归一化分割算法将点集P分割为M个分割区域，分割区域示意图如图5所示，图5中展示了三个相邻分割区域示意图，优选的，K为比例系数，K＞1，K优选但不限于为10。归一化分割算法可参考现有技术J.Shi，J.Malik.Normalized cuts and image segmentation[J].IEEE Transactions onPattern Analysis and Machine Intelligence，2000，22(8)：888－905中公开的内容。
在本实施方式中，在S6中，优选但不限于选用最小生成树算法对初始骨架点进行连接。
在一种优选实施方式中，在S2中，还包括基于方向的联合双边滤波算法对深度图的空洞进行修补的步骤。
在一种优选实施方式中，S5包括：
S51，参数设置步骤，具体包括：
设采样点集P为I表示采样点集P的索引集合；设迭代次数为k，k的初始值为0；设分割区域集合S＝{sm}m∈M，sm表示第m个分割区域，分割标签集合C＝{ci}i∈I，ci表示第i个采样点的分割标签；
设第j个候选骨架点的邻域半径hj的初始值为：/>dj为候选骨架点xj所在分割区域sj的对角线长度，Nj表示候选骨架点xj所在分割区域sj中采样点数量；
设第一目标函数为：argmin∑i∈I∑j∈J||xj-pi||θ(||xj-pi||,j)+R(X)，其中，θ(r,j)为第一权重函数，r代表函数θ(r,j)的变量，pi第i个采样点的深度值，R(X)为正则项，/>第j个候选骨架点的局部排斥力调节参数/> 分别表示以第j个骨架点为中心以hj为局部半径由采样点构成的局部点云进行主成分分析获得的第一主成分对应特征值、第二主成分对应特征值、第三主成分对应特征值，/>γj表示平衡常数；
S52，从采样点集P中随机选择J个采样点作为候选骨架点集合X的初始值X0；
S53，令k＝k+1，执行第k次迭代收缩过程：
S531，对于每个分割区域中的每个候选骨架点，候选骨架点邻域示意图如图4所示，更新候选骨架点的邻域半径和位置，具体包括：
步骤A，对于第j个候选骨架点，分别设置三个增量假设H0、H1和H2：
H0:
H1:
H2:
其中，表示第j个候选骨架点第k－1次迭代邻域半径；/>表示第j个候选骨架点第k次迭代邻域半径，K1、K2分别表示第一比例系数、第二比例系数，0＜K1＜K2＜1；
步骤B，分别基于三个增量假设下的第k次迭代邻域半径利用骨架点位置更新公式获得第j个候选骨架点第k次迭代的位置骨架点更新公式为：
其中，第一迭代变量第二迭代变量/>μ表示候选骨架点集合X的局部排斥力参数；/> 分别为σj、/>的第k－1次迭代值；/>表示第j个候选骨架点在第k－1次迭代中的位置；/>表示候选骨架点集合X中除了第j个候选骨架点外的第j'个候选骨架点第k－1次迭代中的位置；
步骤C，分别计算三个增量假设下的判别函数数值，将第j个候选骨架点的邻域半径和位置的第k次迭代值分别更新为判别函数数值最大的增量假设下计算获得的和/>
判别函数为：D(xj”,sj)∈[0,1]；
xj”表示第j个候选骨架点在增量假设下获得的候选骨架点位置Nj表示第j个候选骨架点所在分割区域sj中采样点的数量；η(xj”,sj)表示分割区域sj中满足到点xj”的距离在区间[0,σ(xj”,sj)]内的采样点的数量，σ(xj”,sj)表示分割区域sj的采样点到点xj”的距离的方差；
S532，根据第k－1次迭代获得的候选骨架点集合X计算第一目标函数值获得第一数值，根据第k次迭代获得的候选骨架点集合X计算第一目标函数值获得第二数值，若第二数值相比第一数值的减小量达到误差阈值，将第k次迭代获得的候选骨架点集合X作为骨架点集合并输出，进入S6；若第二数值相比第一数值的减小量未达到误差阈值，返回S53。
在一种优选实施方式中，在S531和S532之间还包括步骤一，步骤一包括：
如图6所示，对于任意相邻的两个分割区域su和sv，分别求取分割区域su和sv中候选骨架点位置的均值和/>
将作为判别函数中的变量xj”，将su∪sv作为判别函数中的变量sj，求得第一判别函数数值；
将作为判别函数中的变量xj”，将分割区域su作为判别函数中的变量sj，求得第二判别函数数值；
将作为判别函数中变量xj”，将sv作为判别函数中变量，求得第三判别函数数值；
计算第二判别函数数值与第三判别函数数值之和；
若第一判别函数数值大于第二判别函数数值与第三判别函数数值之和，则合并相邻的分割区域su和sv，并更新分割区域su和sv中采样点的分割标签以及分割区域，若第一判别函数数值不大于第二判别函数数值与第三判别函数数值之和，不合并相邻的分割区间su和sv。
在一种优选实施方式中，S6包括：
S61，定义骨架线为无向连通图T＝(X',En)，图T为一个树，En是T上最小生成树边的集合，En＝{＜xi',xj＞}；i',j∈J，X'表示S5中输出的骨架点集合，J表示骨架点集合X'的索引集合；
S62，计算X'中所有骨架点之间的连接权重，连接权重为两个骨架点之间的欧式距离；
对于X'中每个骨架点执行以下步骤：
将和骨架点xi'的连接权重小于权重阈值的所有骨架点与骨架点xi'连接，构成连通图G＝(X',E)，E表示图G上的连接边集合；
S63，基于连通图G＝(X',E)生成最小生成树，根据贪心策略选取连通图G＝(X',E)中边作为骨架线段获得骨架线。
本发明还公开了一种基于双目视觉的单面树木点云骨架线提取***，在一种优选实施方式中，该***包括双目立体相机和处理器，双目立体相机与处理器连接，双目立体相机以一定角度朝向目标树木拍摄；处理器执行上述基于双目视觉的单面树木点云骨架线提取方法提取出目标树木的骨架线。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (6)
1.一种基于双目视觉的单面树木点云骨架线提取方法，其特征在于，包括：
S1，获取由双目立体相机从单个角度拍摄目标树木得到的左右视图图像；
S2，基于所述左右视图图像获取深度图，根据相机成像原理将所述深度图转换为点云模型，所述点云模型记为单面树木点云；
S3，通过下采样算法从所述单面树木点云中提取N个采样点构成采样点集P，N为正整数；
S4，将采样点集P划分为M个分割区域，为每个采样点设置标记所述采样点所属分割区域的分割标签，所述M的大小由N确定，M为正整数，M小于N；
S5，在M个分割区域中基于中值算法迭代收缩获得骨架点，在每次迭代中为每个候选骨架点的邻域预设多个半径，基于邻域预设半径获得对应的候选骨架点更新位置，获取不同预设半径下的邻域内采样点在所述邻域对应的候选骨架点更新位置周围的聚拢程度，将聚拢程度最高的预设半径作为本次迭代中候选骨架点的邻域半径更新值；
S6，连接骨架点获得骨架线；
所述S5包括：
S51，参数设置步骤，具体包括：
设采样点集P为I表示采样点集P的索引集合；设迭代次数为k，k的初始值为0；设分割区域集合S＝{sm}m∈M,sm表示第m个分割区域，分割标签集合C＝{ci}i∈I，ci表示第i个采样点的分割标签；
设第j个候选骨架点的邻域半径hj的初始值为：/>dj为候选骨架点xj所在分割区域sj的对角线长度，Nj表示候选骨架点xj所在分割区域sj中采样点数量；
设第一目标函数为：arg min∑i∈IΣj∈J||xj-pi||θ(||xj-pi||,j)+R(X)，其中，θ(r,j)为第一权重函数，r代表函数θ(r,j)的变量，pi第i个采样点的深度值，R(X)为正则项，/>第j个候选骨架点的局部排斥力调节参数/> 分别表示以第j个骨架点为中心以hj为局部半径由采样点构成的局部点云进行主成分分析获得的第一主成分对应特征值、第二主成分对应特征值、第三主成分对应特征值，/>γj表示平衡常数；
S52，从采样点集P中随机选择J个采样点作为候选骨架点集合X的初始值X0；
S53，令k＝k+1，执行第k次迭代收缩过程：
S531，对于每个分割区域中的每个候选骨架点，更新候选骨架点的邻域半径和位置，具体包括：
步骤A，对于第j个候选骨架点，分别设置三个增量假设H0、H1和H2：
其中，表示第j个候选骨架点第k-1次迭代邻域半径；/>表示第j个候选骨架点第k次迭代邻域半径，所述K1、K2分别表示第一比例系数、第二比例系数，0＜K1＜K2＜1；
步骤B，分别基于三个增量假设下的第k次迭代邻域半径利用骨架点位置更新公式获得第j个候选骨架点第k次迭代的位置骨架点更新公式为：
其中，第一迭代变量第二迭代变量/>μ表示候选骨架点集合X的局部排斥力参数；/> 分别为σj、/>的第k-1次迭代值；/>表示第j个候选骨架点在第k-1次迭代中的位置；/>表示候选骨架点集合X中除了第j个候选骨架点外的第j'个候选骨架点第k-1次迭代中的位置；
步骤C，分别计算三个增量假设下的判别函数数值，将第j个候选骨架点的邻域半径和位置的第k次迭代值分别更新为判别函数数值最大的增量假设下计算获得的和/>
所述判别函数为：
所述xj”表示第j个候选骨架点在增量假设下获得的候选骨架点位置Nj表示第j个候选骨架点所在分割区域sj中采样点的数量；η(xj”,sj)表示分割区域sj中满足到点xj”的距离在区间[0,σ(xj”,sj)]内的采样点的数量，σ(xj”,sj)表示分割区域sj的采样点到点xj”的距离的方差；
S532，根据第k-1次迭代获得的候选骨架点集合X计算第一目标函数值获得第一数值，根据第k次迭代获得的候选骨架点集合X计算第一目标函数值获得第二数值，若第二数值相比第一数值的减小量达到误差阈值，将第k次迭代获得的候选骨架点集合X作为骨架点集合并输出，进入S6；若第二数值相比第一数值的减小量未达到误差阈值，返回S53。
2.如权利要求1所述的一种基于双目视觉的单面树木点云骨架线提取方法，其特征在于，在S531和S532之间还包括步骤一，所述步骤一包括：
对于任意相邻的两个分割区域su和sv，分别求取分割区域su和sv中候选骨架点位置的均值和/>
将作为所述判别函数中的变量xj”，将su∪sv作为所述判别函数中的变量sj，求得第一判别函数数值；
将作为所述判别函数中的变量xj”，将分割区域su作为所述判别函数中的变量sj，求得第二判别函数数值；
将作为所述判别函数中变量xj”，将sv作为所述判别函数中变量，求得第三判别函数数值；
计算第二判别函数数值与第三判别函数数值之和；
若第一判别函数数值大于所述第二判别函数数值与第三判别函数数值之和，则合并相邻的分割区域su和sv，并更新分割区域su和sv中采样点的分割标签以及所述分割区域，若第一判别函数数值不大于所述第二判别函数数值与第三判别函数数值之和，不合并相邻的分割区间su和sv。
3.如权利要求1所述的基于双目视觉的单面树木点云骨架线提取方法，其特征在于，所述S6包括：
S61，定义骨架线为无向连通图T＝(X',En)，图T为一个树，En是T上最小生成树边的集合，En＝{＜xi',xj＞}；i',j∈J，X'表示所述S5中输出的骨架点集合，J表示骨架点集合X'的索引集合；
S62，计算X'中所有骨架点之间的连接权重，所述连接权重为两个骨架点之间的欧式距离；
对于X'中每个骨架点执行以下步骤：
将和骨架点xi'的连接权重小于权重阈值的所有骨架点与骨架点xi'连接，构成连通图G＝(X',E)，E表示图G上的连接边集合；
S63，基于连通图G＝(X',E)生成最小生成树，根据贪心策略选取连通图G＝(X',E)中边作为骨架线段获得骨架线。
4.如权利要求1所述的基于双目视觉的单面树木点云骨架线提取方法，其特征在于，在所述S4中，所述所述K为比例系数，K＞1。
5.如权利要求1所述的基于双目视觉的单面树木点云骨架线提取方法，其特征在于，在所述S2中，还包括基于方向的联合双边滤波算法对所述深度图的空洞进行修补的步骤。
6.一种基于双目视觉的单面树木点云骨架线提取***，其特征在于，包括双目立体相机和处理器，所述双目立体相机与处理器连接，所述双目立体相机以一定角度朝向目标树木拍摄；所述处理器执行权利要求1-5之一所述的基于双目视觉的单面树木点云骨架线提取方法提取出目标树木的骨架线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011343171.6A CN112465832B (zh) | 2020-11-25 | 2020-11-25 | 一种基于双目视觉的单面树木点云骨架线提取方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011343171.6A CN112465832B (zh) | 2020-11-25 | 2020-11-25 | 一种基于双目视觉的单面树木点云骨架线提取方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112465832A CN112465832A (zh) | 2021-03-09 |
| CN112465832B true CN112465832B (zh) | 2024-04-16 |
Family
ID=74808278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011343171.6A Active CN112465832B (zh) | 2020-11-25 | 2020-11-25 | 一种基于双目视觉的单面树木点云骨架线提取方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465832B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298919A (zh) * | 2021-04-14 | 2021-08-24 | 江苏大学 | 一种三维植物点云模型的骨架提取方法 |
| CN113409265B (zh) * | 2021-06-11 | 2022-04-12 | 华中农业大学 | 全生育期番茄3d表型动态获取和分析方法及*** |
| CN113838198B (zh) * | 2021-08-17 | 2023-12-05 | 上海师范大学 | 一种电子地图中文字的自动标注方法、装置及电子设备 |
| CN115512121B (zh) * | 2022-08-01 | 2023-05-16 | 南京林业大学 | 非完全模拟树木水分养分传输的枝干点云骨架提取方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103268631A (zh) * | 2013-05-23 | 2013-08-28 | 中国科学院深圳先进技术研究院 | 点云骨架提取方法及装置 |
| CN103632381A (zh) * | 2013-12-08 | 2014-03-12 | 中国科学院光电技术研究所 | 一种利用骨架提取特征点的扩展目标跟踪方法 |
| CN107223268A (zh) * | 2015-12-30 | 2017-09-29 | 中国科学院深圳先进技术研究院 | 一种三维点云模型重建方法及装置 |
| CN107330901A (zh) * | 2017-06-29 | 2017-11-07 | 西安理工大学 | 一种基于骨架的物体构件分解方法 |
| US10140733B1 (en) * | 2017-09-13 | 2018-11-27 | Siemens Healthcare Gmbh | 3-D vessel tree surface reconstruction |
| CN111161267A (zh) * | 2019-12-09 | 2020-05-15 | 西安工程大学 | 一种三维点云模型的分割方法 |
| CN111968089A (zh) * | 2020-08-15 | 2020-11-20 | 晋江市博感电子科技有限公司 | 一种基于最大内切球机制的l1中值骨架提取方法 |
-
2020
- 2020-11-25 CN CN202011343171.6A patent/CN112465832B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103268631A (zh) * | 2013-05-23 | 2013-08-28 | 中国科学院深圳先进技术研究院 | 点云骨架提取方法及装置 |
| CN103632381A (zh) * | 2013-12-08 | 2014-03-12 | 中国科学院光电技术研究所 | 一种利用骨架提取特征点的扩展目标跟踪方法 |
| CN107223268A (zh) * | 2015-12-30 | 2017-09-29 | 中国科学院深圳先进技术研究院 | 一种三维点云模型重建方法及装置 |
| CN107330901A (zh) * | 2017-06-29 | 2017-11-07 | 西安理工大学 | 一种基于骨架的物体构件分解方法 |
| US10140733B1 (en) * | 2017-09-13 | 2018-11-27 | Siemens Healthcare Gmbh | 3-D vessel tree surface reconstruction |
| CN111161267A (zh) * | 2019-12-09 | 2020-05-15 | 西安工程大学 | 一种三维点云模型的分割方法 |
| CN111968089A (zh) * | 2020-08-15 | 2020-11-20 | 晋江市博感电子科技有限公司 | 一种基于最大内切球机制的l1中值骨架提取方法 |
Non-Patent Citations (4)
| Title |
|---|
| Tree Skeletonization for Raw Point Cloud Exploiting Cylindrical Shape Prior;Lixian Fu等;《IEEE Access》;20200204;第08卷;27327-27341 * |
| 基于区域分割的点云骨架提取算法;晁莹等;《计算机工程》;20171015;第43卷(第10期);222-227+233 * |
| 基于改进自适应k均值聚类的三维点云骨架提取的研究;鲁斌等;《自动化学报》;20201021;第48卷(第08期);1994-2006 * |
| 基于点云内骨架的分割算法;李仁忠等;《激光与光电子学进展》;20190521;第56卷(第22期);90-97 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112465832A (zh) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112465832B (zh) | 一种基于双目视觉的单面树木点云骨架线提取方法及*** | |
| CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
| CN109544456B (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
| CN109146948B (zh) | 基于视觉的作物长势表型参数量化与产量相关性分析方法 | |
| CN110232389B (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
| CN111724433B (zh) | 一种基于多目视觉的作物表型参数提取方法及*** | |
| CN106651900B (zh) | 一种基于轮廓分割的高架原位草莓三维建模方法 | |
| CN103529855B (zh) | 一种旋转可调式双目视觉的目标识别定位装置及其在农业果实采摘机械的应用 | |
| CN107833181A (zh) | 一种基于变焦立体视觉的三维全景图像生成方法及*** | |
| CN107016646A (zh) | 一种基于改进的逼近投影变换图像拼接方法 | |
| CN110070571B (zh) | 一种基于深度相机的毛竹形态参数检测方法 | |
| CN111311679A (zh) | 一种基于深度相机的自由漂浮目标位姿估计方法 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN112200854B (zh) | 一种基于视频图像的叶类蔬菜三维表型测量方法 | |
| CN115375842A (zh) | 一种植株三维重建方法、终端及存储介质 | |
| CN107563323A (zh) | 一种视频人脸特征点定位方法 | |
| Song et al. | Combining stereo and time-of-flight images with application to automatic plant phenotyping | |
| CN108663026A (zh) | 一种振动测量方法 | |
| CN114332689A (zh) | 一种柑橘识别定位方法、装置、设备及存储介质 | |
| CN116883480A (zh) | 基于双目影像与地基雷达融合点云的玉米株高检测方法 | |
| CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
| Han et al. | Target positioning method in binocular vision manipulator control based on improved canny operator | |
| CN116763295A (zh) | 牲畜体尺测量方法、电子设备及存储介质 | |
| CN116402904A (zh) | 一种基于激光雷达间和单目相机的联合标定方法 | |
| Zhang et al. | A shape reconstruction and measurement method for spherical hedges using binocular vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |