CN108010036A - 一种基于rgb-d相机的物体对称轴检测方法 - Google Patents

一种基于rgb-d相机的物体对称轴检测方法 Download PDF

Info

Publication number
CN108010036A
CN108010036A CN201711165747.2A CN201711165747A CN108010036A CN 108010036 A CN108010036 A CN 108010036A CN 201711165747 A CN201711165747 A CN 201711165747A CN 108010036 A CN108010036 A CN 108010036A
Authority
CN
China
Prior art keywords
point
candidate
cloud
symmetrical plane
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711165747.2A
Other languages
English (en)
Other versions
CN108010036B (zh
Inventor
黄敏
李�浩
朱启兵
李艳华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201711165747.2A priority Critical patent/CN108010036B/zh
Priority to US16/093,658 priority patent/US10607106B2/en
Priority to AU2018370629A priority patent/AU2018370629B2/en
Priority to PCT/CN2018/083260 priority patent/WO2019100647A1/zh
Publication of CN108010036A publication Critical patent/CN108010036A/zh
Application granted granted Critical
Publication of CN108010036B publication Critical patent/CN108010036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RGB‑D相机的物体对称轴检测方法，涉及图像处理领域，该方法包括：获取自然场景下的目标物体的图像的三维点云数据，根据色差阈值分割法从三维点云数据中识别出目标物体所在区域的点云对应的目标点云数据，以目标点云数据的为中心建立球坐标系，利用球坐标系分割法选出n2个候选对称平面，根据n2个候选对称平面计算目标点云数据的对称轴，即为目标物体的对称轴；该方法实现了目标物体RGB‑D图像的三维重建，以及点云滤波，最后通过采用一种积分策略实现对目标物体对称轴的检测，当该方法应用于水果采摘领域时，可以基于自然场景中拍摄的果实的图像准确地寻找果实的对称轴，提高了水果的自动化采摘效率。

Description

一种基于RGB-D相机的物体对称轴检测方法
技术领域
本发明涉及图像处理领域，尤其是一种基于RGB-D相机的物体对称轴检测方法。
背景技术
水果采摘机器人可以自动检测水果并进行采摘，因其效率高自动化程度好的优点而被广泛使用，水果采摘机器人的采摘动作依赖于其视觉检测***对水果的准确检测与定位，文献表明，如果水果相对于果实和茎的方向以特定方式旋转和扭曲，可以提高水果的采摘效率，因此为了进一步提高采摘效率，需要提高水果采摘机器人对于果实对称轴的检测精度。
目前比较常见的对果实对称轴的检测方法有基于曲面曲率变化寻找对称轴方法、基于学习的自然图像检测方法，以及基于边缘特征学习的自然图像对称轴检测方法等，不过它们还存在着许多问题，如：使用的三维点云要求十分精确，学习时间会随着点云数据增多而变得很长，不便于从自然场景中拍摄的图像来检测水果对称轴等。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于RGB-D相机的物体对称轴检测方法，该方法可以对自然场景下的物体的对称轴进行精确检测。
本发明的技术方案如下：
一种基于RGB-D相机的物体对称轴检测方法，该方法包括：
对RGB-D相机的彩色相机和深度相机进行标定，获取RGB-D相机的相机参数；
通过RGB-D相机的彩色相机获取目标物体的彩色图像，通过RGB-D相机的深度相机获取目标物体的深度图像；
根据RGB-D相机的相机参数将深度图像映射到彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像，并将彩色图像和对齐后的深度图像处理为三维点云数据，三维点云数据包括点云的三维坐标和颜色信息；
根据色差阈值分割法从三维点云数据中识别出目标点云数据，目标点云数据是目标物体所在区域的点云对应的数据；
求取目标点云数据的质心，并以质心为中心建立球坐标系，利用球坐标系分割法选出n2个候选对称平面，n大于3且n为整数；
根据n2个候选对称平面计算目标点云数据的对称轴，确定目标点云数据的对称轴为目标物体的对称轴。
其进一步的技术方案为，根据n2个候选对称平面计算目标点云数据的对称轴，包括：
根据预设积分策略计算n2个候选对称平面中每个候选对称平面的分数；
确定分数最低的候选对称平面为目标物体的对称平面；
根据目标物体的对称平面计算得到目标点云数据的对称轴。
其进一步的技术方案为，根据目标物体的对称平面计算得到目标点云数据的对称轴，包括计算：
其中，是目标点云数据的对称轴向量，是目标物体的对称平面的法向量，pv是视点的坐标，po是目标点云数据的质心的坐标。
其进一步的技术方案为，根据预设积分策略计算n2个候选对称平面中每个候选对称平面的分数，包括：
对于每个候选对称平面，确定候选对称平面中的候选点，候选点是在候选对称平面中有对称伙伴的点；
根据预设积分策略计算得到每个候选点的分数；
确定各个候选点的分数之和为候选对称平面的分数。
其进一步的技术方案为，根据预设积分策略计算得到每个候选点的分数，包括：
将候选点关于候选对称平面做对称变化得到候选点的对称点；
根据K最近邻KNN分类算法确定与候选点的对称点距离最近的邻近点，确定候选点的对称点与邻近点的距离；
计算xscore＝dmin+ω·α，其中，xscore是候选点的分数，dmin是候选点的对称点与邻近点的距离，α是候选点的对称点的法向量与邻近点的法向量之间的夹角，ω为权重系数。
其进一步的技术方案为，确定候选对称平面中的候选点，包括：
计算pv是视点的坐标，p是候选对称平面中一侧的点，是点处的法向量；
当时，确定点在候选对称平面中有对称伙伴，则确定点为候选点。
其进一步的技术方案为，根据色差阈值分割法从三维点云数据中识别出目标点云数据，包括；
根据色差阈值分割法从三维点云数据中识别出前景点云数据；
对于前景点云数据中的各个点云的任意一个点云，计算di为点云与点云各个邻近点之间的平均距离，k为点云的邻近点的个数；
检测di是否在μ±γσ范围内，其中，m为前景点云数据中的点云的个数，γ为参数；
若di在μ±γσ范围内，则确定点云对应的数据是目标点云数据。
其进一步的技术方案为，根据色差阈值分割法从三维点云数据中识别出前景点云数据，包括：
对于三维点云数据中的任意一个点云，计算Rs-Gs，Rs为点云的红色通道R信息，Gs为点云的绿色通道G信息；
若Rs-Gs＞δ，则确定点云对应的数据是前景点云数据。
其进一步的技术方案为，以质心为中心建立球坐标系，利用球坐标系分割法选出n2个候选对称平面，包括：
以质心为中心建立球坐标系，确定水平分割角和垂直分割角的范围；
通过计算将水平分割角进行等分，通过计算将垂直分割角进行等分，其中，thetaBinSize是水平分割角的变化范围，phiBinSize是垂直分割角的变化范围，θ(2)和θ(1)分别为水平分割角的最大值与最小值，和分别为垂直分割角的最大值和最小值；
分别改变水平分割角和垂直分割角n次，得到n2组分割平面的单位法向量；
根据n2组分割平面的单位法向量得到n2个候选对称平面。
其进一步的技术方案为，求取目标点云数据的质心，包括：
在目标点云数据附近随机产生预定数量的随机点，预定数量大于目标点云数据的个数；
对于每个随机点，求取随机点与目标点云数据中的各个点云之间的距离的标准差；
确定与目标点云数据中的各个点云之间的距离的标准差最小的随机点为目标点云数据的质心。
本发明的有益技术效果是：
本申请公开了一种基于RGB-D相机的物体对称轴检测方法，该方法实现了目标物体RGB-D图像的三维重建，以及点云滤波，最后通过采用一种积分策略实现对目标物体对称轴的检测，当该方法应用于水果采摘领域时，可以基于自然场景中拍摄的果实的图像准确地寻找果实的对称轴，克服了先前水果识别仅精确到个体而不能描述个体特征的缺陷，便于机械手抓取，提高了水果的自动化采摘效率，并且减少对水果的损伤。
附图说明
图1是本发明公开的基于RGB-D相机的物体对称轴检测方法的方法流程图。
图2是彩色相机与深度相机之间的坐标映射模型示意图。
图3是根据预设积分策略计算每个候选点的分数的示意图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种基于RGB-D相机的物体对称轴检测方法，该方法基于RGB-D相机，RGB-D相机包括一个彩色相机和一个深度相机，该检测方法包括如下步骤，主要流程图请参考图1：
一、分别对RGB-D相机的彩色相机和深度相机进行标定，获取RGB-D相机的相机参数，该相机参数包括彩色相机的参数以及深度相机的参数，本申请采用的标定方法为张正友标定法，实际也可以采用其他方法，本申请对此不做限定。采用张正友标定法对RGB-D相机的彩色相机进行标定，可以获取彩色相机内部参数Hrgb和彩色相机外部参数(Rrgb，Trgb)；采用张正友标定法对RGB-D相机的深度相机进行标定，可以获取深度相机内部参数Hd和深度相机外部参数(Rd，Td)。
二、通过RGB-D相机的彩色相机获取目标物体的彩色图像，通过RGB-D相机的深度相机获取目标物体的深度图像，在本申请中，目标物体为自然场景下拍摄的果树上的果实，彩色相机采集到的彩色图像的分辨率较高，通常为1080*1920，深度相机采集到的深度图像的分辨率较低，通常为424*512，彩色图像和深度图像的具体分辨率由RGB-D相机的硬件参数和人为设定等因素来决定，本申请对此不做限定。
在实际实现时，上述步骤一和步骤二没有特定的先后顺序。
三、利用RGB-D相机的相机参数，根据投影逆变换和空间坐标系之间的坐标映射关系，将深度信息映射到彩色图像像素坐标系中，获取与彩色图像的像素点一一对应的对齐后的深度图像，对其后的深度图像的分辨率与彩色图像的分辨率相同，为1080*1920，具体包括如下步骤，示意图如图2所示：
步骤1：利用彩色相机外部参数根据投影逆变换获取在世界坐标系P(Xw，Yw，Zw)下的彩色相机的投影坐标Prgb(Xc1，Yc1，Zc1)，利用深度相机外部参数根据投影逆变换获取在世界坐标系P(Xw,Yw,Zw)下的深度相机的投影坐标Pd(Xc2，Yc2，Zc2)。
步骤2：利用彩色相机内部参数获取在彩色相机坐标系下的图像像素的坐标Prgb(u1，v1)，利用深度相机内部参数获取在深度相机坐标系下的图像像素的坐标Pd(u2，v2)。
步骤3：根据世界坐标系下的彩色相机的投影坐标Prgb(Xc1，Yc1，Zc1)、世界坐标系下的深度相机的投影坐标Pd(Xc2，Yc2，Zc2)、彩色相机坐标系下的图像像素的坐标Prgb(u1，v1)以及深度相机坐标系下的图像像素的坐标Pd(u2，v2)确定彩色图像像素坐标与深度图像像素坐标之间的对应关系。
步骤4，最后根据彩色图像像素坐标与深度图像像素坐标之间的对应关系将深度图像映射到彩色图像像素坐标系中，从而获得对齐后的深度图像。
四、将彩色图像和对齐后的深度图像处理为三维点云数据s＝(x,y,z,R,G,B)，三维点云数据包括点云的三维坐标和颜色信息，其中，x、y、z分别为点云对应于空间X轴、Y轴和Z轴的坐标，R为点云的红色通道信息，G为点云的绿色通道信息，B为点云的蓝色通道信息。
五、根据色差阈值分割法从三维点云数据中识别出前景点云数据，具体的，对于三维点云数据中的任意一个点云，计算RS-GS来将前景和背景进行分离，RS为该点云的R信息，GS为该点云的G信息，若RS-GS＞δ，则确定该点云对应的数据是前景点云数据，若RS-GS≤δ，则确定该点云对应的数据是背景点云数据，δ为预设阈值，通常为一经验值，比如取δ＝13。
六、经过色差阈值分割后得到的前景点云数据中，除了目标物体所在区域的点云外，还包括一些偏离目标物体较远的离群噪声点，采用离群滤波的方法滤除这些噪声，具体的，对于前景点云数据中的任意一个点云pi，计算：
其中，di为该点云pi与其在空间内各个邻近点pj之间的平均距离，xi、yi、Zi为点云pi的三维坐标，xj、yj、Zj为点云pj的三维坐标，m为前景点云数据中的点云的个数，k为搜索的该点云pi的邻近点的个数，k为预设值；μ为各个点云对应的距离di的平均值，σ为各个点云对应的距离di的标准差。
检测di是否在μ±γσ范围内，γ为参数；参数γ的取值与临近点的个数k的大小有关，通常情况下根据经验将k的取值设为80～100，则对应的γ的取值为0.8～1.2。若di在μ±γσ范围内，则确定该点云对应的数据是目标点云数据，也即是目标物体所在区域的点云对应的数据。若di不在μ±γσ范围内，则确定该点云是偏离目标物体较远的离群噪声点，滤除该点云。
七、求取目标点云数据的质心P0，即在目标点云数据附近随机产生预定数量的随机点，预定数量大于目标点云数据的个数，通常该预定数量为目标点云数据的个数的2-3倍。遍历所有随机点，对于每个随机点，求取该随机点与目标点云数据中的各个点云之间的欧式距离，将距离波动最小的随机点确定质心P0，也即求取随机点与目标点云数据中的各个点云之间的距离的标准差，将与目标点云数据中的各个点云之间的距离的标准差最小的随机点为目标点云数据的质心P0。
八、以质心P0为中心建立球坐标系，利用球坐标系分割法选出n2个候选对称平面，包括如下几个步骤，其中n大于3且n为整数：
步骤1:确定水平分割角θ和垂直分割角的范围，水平分割角θ的范围应为整个范围，即θ∈[0,π]，而只覆盖z轴负半轴，即
步骤2:将水平分割角θ和垂直分割角等分，即计算：
其中，thetaBinSize是水平分割角θ的变化范围，phiBinSize是垂直分割角的变化范围，θ(2)和θ(1)分别为水平分割角θ的最大值与最小值，和分别为垂直分割角的最大值和最小值。
步骤3:分别改变水平分割角θ和垂直分割角n次，得到n2组分割平面的单位法向量。一种具体的做法是：保持水平分割角θ不变，通过改变垂直分割角计算出分割平面的单位法向量，循环改变垂直分割角共n次计算出n个单位法向量；循环改变水平分割角θ共n次，对于每个水平分割角θ，循环改变垂直分割角得到n2组分割平面的单位法向量，即得到了n2个候选对称平面，每个单位法向量的计算方法如下：
x＝r*sin(theta)*cos(phi)；
y＝r*sin(theta)*sin(phi)；
z＝r*cos(theta)；
其中，x，y，z是计算得到单位法向量的坐标值，theta是球坐标系中的方位角，phi是球坐标系中的高低角，r是单位圆的半径，i和j为参数，i是水平分割角θ循环改变的次数，j是垂直分割角循环改变的次数。
九、根据预设积分策略计算n2个候选对称平面中每个候选对称平面的分数，遍历各个候选对称平面，确定分数最低的候选对称平面为目标物体的对称平面。以一个候选对称平面的分数计算为例，其计算过程包括如下步骤：
步骤1:先确定该候选对称平面中的候选点：计算pv是视点的坐标，默认为(0,0,0)，p是候选对称平面中一侧的点，是该点处的法向量。当时，确定该点在候选对称平面中有对称伙伴，则确定点为候选点；当时，确定该点在候选对称平面中无对称伙伴。使用该方法筛选出该候选对称平面中的所有候选点。
对于每个点p处的法向量的确定方法为：基于局部表面拟合的方法，获取与点p最相邻的t个相邻点，t为整数，然后为这些点计算一个最小二乘意义上的局部平面P，此局部平面P可以表述为：
其中，为局部平面P的法向量，w为局部平面P到坐标原点的距离，表示点p处的法向量。由于局部平面P经过t个近邻点拟合曲面的质心同时，法向量需要满足因此问题可以转化为对如下半正定的协方差矩阵M进行特征值分解：
对应于该协方差矩阵M最小特征值的特征向量即为点p处的法向量。
步骤2：根据预设积分策略计算得到每个候选点的分数，具体为，将候选点关于候选对称平面做对称变化得到候选点的对称点根据KNN分类算法(K-NearestNeighbor，KNN)确定与候选点的对称点距离最近的邻近点确定候选点的对称点与邻近点的距离dmin，示意图请参考图3；计算xscore＝dmin+ω·α，其中，xscore是候选点的分数，α是候选点的对称点的法向量与邻近点的法向量之间的夹角，ω为权重系数。
步骤3:确定各个候选点的分数之和为候选对称平面的分数。
十、根据目标物体的对称平面计算得到目标点云数据的对称轴，即计算：
其中，是目标点云数据的对称轴向量，是目标物体的对称平面的法向量，pv是视点的坐标，默认为(0,0,0)，P0是目标点云数据的质心的坐标，该目标点云数据的对称轴即为目标物体的对称轴。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (10)

1.一种基于RGB-D相机的物体对称轴检测方法，其特征在于，所述方法包括：
对RGB-D相机的彩色相机和深度相机进行标定，获取所述RGB-D相机的相机参数；
通过RGB-D相机的彩色相机获取目标物体的彩色图像，通过RGB-D相机的深度相机获取所述目标物体的深度图像；
根据所述RGB-D相机的相机参数将所述深度图像映射到所述彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像，并将所述彩色图像和所述对齐后的深度图像处理为三维点云数据，所述三维点云数据包括点云的三维坐标和颜色信息；
根据色差阈值分割法从所述三维点云数据中识别出目标点云数据，所述目标点云数据是所述目标物体所在区域的点云对应的数据；
求取所述目标点云数据的质心，并以所述质心为中心建立球坐标系，利用球坐标系分割法选出n2个候选对称平面，n大于3且n为整数；
根据所述n2个候选对称平面计算所述目标点云数据的对称轴，确定所述目标点云数据的对称轴为所述目标物体的对称轴。
2.根据权利要求1所述的方法，其特征在于，所述根据所述n2个候选对称平面计算所述目标点云数据的对称轴，包括：
根据预设积分策略计算所述n2个候选对称平面中每个候选对称平面的分数；
确定分数最低的候选对称平面为所述目标物体的对称平面；
根据所述目标物体的对称平面计算得到所述目标点云数据的所述对称轴。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标物体的对称平面计算得到所述目标点云数据的所述对称轴，包括计算：
<mrow> <mover> <mi>i</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>=</mo> <mover> <msub> <mi>n</mi> <mi>p</mi> </msub> <mo>&amp;RightArrow;</mo> </mover> <mo>&amp;times;</mo> <mfrac> <mrow> <msub> <mi>p</mi> <mi>v</mi> </msub> <mo>-</mo> <msub> <mi>p</mi> <mi>o</mi> </msub> </mrow> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>p</mi> <mi>v</mi> </msub> <mo>-</mo> <msub> <mi>p</mi> <mi>o</mi> </msub> <mo>|</mo> <mo>|</mo> </mrow> </mfrac> </mrow>
其中，是所述目标点云数据的对称轴向量，是所述目标物体的对称平面的法向量，pv是视点的坐标，po是所述目标点云数据的质心的坐标。
4.根据权利要求2所述的方法，其特征在于，所述根据预设积分策略计算所述n2个候选对称平面中每个候选对称平面的分数，包括：
对于每个候选对称平面，确定所述候选对称平面中的候选点，所述候选点是在所述候选对称平面中有对称伙伴的点；
根据所述预设积分策略计算得到每个所述候选点的分数；
确定各个所述候选点的分数之和为所述候选对称平面的分数。
5.根据权利要求4所述的方法，其特征在于，根据所述预设积分策略计算得到每个所述候选点的分数，包括：
将所述候选点关于所述候选对称平面做对称变化得到所述候选点的对称点；
根据K最近邻KNN分类算法确定与所述候选点的对称点距离最近的邻近点，确定所述候选点的对称点与所述邻近点的距离；
计算xscore＝dmin+ω·α，其中，xscore是所述候选点的分数，dmin是所述候选点的对称点与所述邻近点的距离，α是所述候选点的对称点的法向量与所述邻近点的法向量之间的夹角，ω为权重系数。
6.根据权利要求4所述的方法，其特征在于，所述确定所述候选对称平面中的候选点，包括：
计算pv是视点的坐标，p是所述候选对称平面中一侧的点，是所述点处的法向量；
当时，确定所述点在所述候选对称平面中有对称伙伴，则确定所述点为候选点。
7.根据权利要求1至6任一所述的方法，其特征在于，根据色差阈值分割法从所述三维点云数据中识别出目标点云数据，包括；
根据色差阈值分割法从所述三维点云数据中识别出前景点云数据；
对于所述前景点云数据中的各个点云的任意一个点云，计算di为所述点云与所述点云各个邻近点之间的平均距离，k为所述点云的邻近点的个数；
检测di是否在μ±γσ范围内，其中，m为所述前景点云数据中的点云的个数，γ为参数；
若di在μ±γσ范围内，则确定所述点云对应的数据是所述目标点云数据。
8.根据权利要求7所述的方法，其特征在于，所述根据色差阈值分割法从所述三维点云数据中识别出前景点云数据，包括：
对于所述三维点云数据中的任意一个点云，计算Rs-Gs，Rs为所述点云的红色通道R信息，Gs为所述点云的绿色通道G信息；
若Rs-Gs＞δ，则确定所述点云对应的数据是所述前景点云数据。
9.根据权利要求1至6任一所述的方法，其特征在于，所述以所述质心为中心建立球坐标系，利用球坐标系分割法选出n2个候选对称平面，包括：
以所述质心为中心建立球坐标系，确定水平分割角和垂直分割角的范围；
通过计算将所述水平分割角进行等分，通过计算将所述垂直分割角进行等分，其中，thetaBinSize是水平分割角的变化范围，phiBinSize是垂直分割角的变化范围，θ(2)和θ(1)分别为水平分割角的最大值与最小值，和分别为垂直分割角的最大值和最小值；
分别改变所述水平分割角和所述垂直分割角n次，得到n2组分割平面的单位法向量；
根据所述n2组分割平面的单位法向量得到n2个候选对称平面。
10.根据权利要求1至6任一所述的方法，其特征在于，所述求取所述目标点云数据的质心，包括：
在所述目标点云数据附近随机产生预定数量的随机点，所述预定数量大于所述目标点云数据的个数；
对于每个所述随机点，求取所述随机点与所述目标点云数据中的各个点云之间的距离的标准差；
确定与所述目标点云数据中的各个点云之间的距离的标准差最小的随机点为所述目标点云数据的质心。
CN201711165747.2A 2017-11-21 2017-11-21 一种基于rgb-d相机的物体对称轴检测方法 Active CN108010036B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711165747.2A CN108010036B (zh) 2017-11-21 2017-11-21 一种基于rgb-d相机的物体对称轴检测方法
US16/093,658 US10607106B2 (en) 2017-11-21 2018-04-17 Object symmetry axis detection method based on RGB-D camera
AU2018370629A AU2018370629B2 (en) 2017-11-21 2018-04-17 RGB-D camera-based object symmetry axis detection method
PCT/CN2018/083260 WO2019100647A1 (zh) 2017-11-21 2018-04-17 一种基于rgb-d相机的物体对称轴检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711165747.2A CN108010036B (zh) 2017-11-21 2017-11-21 一种基于rgb-d相机的物体对称轴检测方法

Publications (2)

Publication Number Publication Date
CN108010036A true CN108010036A (zh) 2018-05-08
CN108010036B CN108010036B (zh) 2020-01-21

Family

ID=62053109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711165747.2A Active CN108010036B (zh) 2017-11-21 2017-11-21 一种基于rgb-d相机的物体对称轴检测方法

Country Status (4)

Country Link
US (1) US10607106B2 (zh)
CN (1) CN108010036B (zh)
AU (1) AU2018370629B2 (zh)
WO (1) WO2019100647A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146894A (zh) * 2018-08-07 2019-01-04 庄朝尹 一种三维建模的模型区域分割方法
CN109344868A (zh) * 2018-08-28 2019-02-15 广东奥普特科技股份有限公司 一种区分互为轴对称的不同类物件的通用方法
CN110567422A (zh) * 2019-06-25 2019-12-13 江苏省特种设备安全监督检验研究院 一种起重机吊钩扭转角自动检测方法
CN111428622A (zh) * 2020-03-20 2020-07-17 上海健麾信息技术股份有限公司 一种基于分割算法的图像定位方法及其应用
WO2020199834A1 (zh) * 2019-04-03 2020-10-08 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
CN112102415A (zh) * 2020-08-25 2020-12-18 中国人民解放军63919部队 基于标定球的深度相机外参数标定方法、装置及设备
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及***
CN112819883A (zh) * 2021-01-28 2021-05-18 华中科技大学 一种规则对象检测及定位方法
CN112825192A (zh) * 2019-11-21 2021-05-21 财团法人工业技术研究院 基于机器学习的对象辨识***及其方法
CN113362276A (zh) * 2021-04-26 2021-09-07 广东大自然家居科技研究有限公司 板材视觉检测方法及***
CN114295076A (zh) * 2022-01-05 2022-04-08 南昌航空大学 一种解决基于结构光的微小物体测量阴影问题的测量方法
CN114373105A (zh) * 2021-12-20 2022-04-19 华南理工大学 一种点云标注及数据集制作的方法、***、装置及介质
CN115139325A (zh) * 2022-09-02 2022-10-04 星猿哲科技(深圳)有限公司 物体抓取***

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10854011B2 (en) 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment
CN110473283B (zh) * 2018-05-09 2024-01-23 无锡时代天使医疗器械科技有限公司 牙齿三维数字模型的局部坐标系设定方法
US11823461B1 (en) 2018-09-28 2023-11-21 Direct Current Capital LLC Systems and methods for perceiving a scene around a mobile device
US11567497B1 (en) 2019-02-04 2023-01-31 Direct Current Capital LLC Systems and methods for perceiving a field around a device
US10549928B1 (en) 2019-02-22 2020-02-04 Dexterity, Inc. Robotic multi-item type palletizing and depalletizing
US11741566B2 (en) * 2019-02-22 2023-08-29 Dexterity, Inc. Multicamera image processing
US11460855B1 (en) 2019-03-29 2022-10-04 Direct Current Capital LLC Systems and methods for sensor calibration
CN110648359B (zh) * 2019-09-23 2022-07-08 山东师范大学 一种果实目标定位识别方法及***
CN110853080A (zh) * 2019-09-30 2020-02-28 广西慧云信息技术有限公司 一种田间果实尺寸的测量方法
CN110992372B (zh) * 2019-11-21 2023-08-29 浙江大华技术股份有限公司 物品抓取方法、装置、存储介质及电子装置
CN111754515B (zh) * 2019-12-17 2024-03-01 北京京东乾石科技有限公司 堆叠物品的顺序抓取方法和装置
CN111028345B (zh) * 2019-12-17 2023-05-02 中国科学院合肥物质科学研究院 一种港口场景下圆形管道的自动识别与对接方法
CN111126296A (zh) * 2019-12-25 2020-05-08 中国联合网络通信集团有限公司 水果定位方法及装置
CN111144480A (zh) * 2019-12-25 2020-05-12 深圳蓝胖子机器人有限公司 一种可回收垃圾视觉分类方法、***、设备
CN111160280B (zh) * 2019-12-31 2022-09-30 芜湖哈特机器人产业技术研究院有限公司 基于rgbd相机的目标物体识别与定位方法及移动机器人
CN111311576B (zh) * 2020-02-14 2023-06-02 易思维（杭州）科技有限公司 基于点云信息的缺陷检测方法
CN111353417A (zh) * 2020-02-26 2020-06-30 北京三快在线科技有限公司 一种目标检测的方法及装置
CN111899301A (zh) * 2020-06-02 2020-11-06 广州中国科学院先进技术研究所 一种基于深度学习的工件6d位姿估计方法
CN111768487B (zh) * 2020-06-11 2023-11-28 武汉市工程科学技术研究院 基于三维点云库的地质岩层数据三维重建***及方法
CN112017220B (zh) * 2020-08-27 2023-07-28 南京工业大学 一种基于抗差约束最小二乘算法的点云精确配准方法
CN112115953B (zh) * 2020-09-18 2023-07-11 南京工业大学 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法
CN112258631B (zh) * 2020-10-20 2023-12-08 河海大学常州校区 一种基于深度神经网络的三维目标检测方法及***
CN112720459B (zh) * 2020-12-02 2022-07-12 达闼机器人股份有限公司 目标物体抓取方法、装置、存储介质及电子设备
CN112686859B (zh) * 2020-12-30 2024-03-15 中国农业大学 基于热红外和rgb-d相机的作物cwsi的检测方法
WO2022147774A1 (zh) * 2021-01-08 2022-07-14 浙江大学 基于三角剖分和概率加权ransac算法的物***姿识别方法
CN112766223B (zh) * 2021-01-29 2023-01-06 西安电子科技大学 基于样本挖掘与背景重构的高光谱图像目标检测方法
CN112652075B (zh) * 2021-01-30 2022-08-09 上海汇像信息技术有限公司 对称物体3d模型的对称拟合方法
CN113344844A (zh) * 2021-04-14 2021-09-03 山东师范大学 基于rgb-d多模图像信息的目标果实检测方法及***
CN113192206B (zh) * 2021-04-28 2023-04-07 华南理工大学 基于目标检测和背景去除的三维模型实时重建方法及装置
CN113205465B (zh) * 2021-04-29 2024-04-19 上海应用技术大学 点云数据集分割方法及***
CN113447948B (zh) * 2021-05-28 2023-03-21 淮阴工学院 一种基于ros机器人的相机与多激光雷达融合方法
CN113469195B (zh) * 2021-06-25 2024-02-06 浙江工业大学 一种基于自适应颜色快速点特征直方图的目标识别方法
CN113470049B (zh) * 2021-07-06 2022-05-20 吉林省田车科技有限公司 一种基于结构化彩色点云分割的完整目标提取方法
CN113989391A (zh) * 2021-11-11 2022-01-28 河北农业大学 基于rgb-d相机的动物体三维模型重构***及方法
CN114323283A (zh) * 2021-12-30 2022-04-12 中铭谷智能机器人(广东)有限公司 一种钣金颜色特征智能识别框选方法
CN115082815B (zh) * 2022-07-22 2023-04-07 山东大学 基于机器视觉的茶芽采摘点定位方法、装置及采摘***
CN117011309B (zh) * 2023-09-28 2023-12-26 济宁港航梁山港有限公司 基于人工智能及深度数据的自动盘煤***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080247660A1 (en) * 2007-04-05 2008-10-09 Hui Zhang Automatic Detection and Mapping of Symmetries in an Image
CN104126989A (zh) * 2014-07-30 2014-11-05 福州大学 一种基于多台rgb-d摄像机下的足部表面三维信息获取方法
CN104298971A (zh) * 2014-09-28 2015-01-21 北京理工大学 一种3d点云数据中的目标识别方法
CN105184830A (zh) * 2015-08-28 2015-12-23 华中科技大学 一种对称图像对称轴检测定位方法
CN106780528A (zh) * 2016-12-01 2017-05-31 广西师范大学 基于边缘线匹配的图像对称轴检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015172227A1 (en) * 2014-05-13 2015-11-19 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080247660A1 (en) * 2007-04-05 2008-10-09 Hui Zhang Automatic Detection and Mapping of Symmetries in an Image
CN104126989A (zh) * 2014-07-30 2014-11-05 福州大学 一种基于多台rgb-d摄像机下的足部表面三维信息获取方法
CN104298971A (zh) * 2014-09-28 2015-01-21 北京理工大学 一种3d点云数据中的目标识别方法
CN105184830A (zh) * 2015-08-28 2015-12-23 华中科技大学 一种对称图像对称轴检测定位方法
CN106780528A (zh) * 2016-12-01 2017-05-31 广西师范大学 基于边缘线匹配的图像对称轴检测方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146894A (zh) * 2018-08-07 2019-01-04 庄朝尹 一种三维建模的模型区域分割方法
CN109344868A (zh) * 2018-08-28 2019-02-15 广东奥普特科技股份有限公司 一种区分互为轴对称的不同类物件的通用方法
CN109344868B (zh) * 2018-08-28 2021-11-16 广东奥普特科技股份有限公司 一种区分互为轴对称的不同类物件的通用方法
WO2020199834A1 (zh) * 2019-04-03 2020-10-08 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
CN110567422A (zh) * 2019-06-25 2019-12-13 江苏省特种设备安全监督检验研究院 一种起重机吊钩扭转角自动检测方法
CN112825192A (zh) * 2019-11-21 2021-05-21 财团法人工业技术研究院 基于机器学习的对象辨识***及其方法
CN112825192B (zh) * 2019-11-21 2023-10-17 财团法人工业技术研究院 基于机器学习的对象辨识***及其方法
CN111428622B (zh) * 2020-03-20 2023-05-09 上海健麾信息技术股份有限公司 一种基于分割算法的图像定位方法及其应用
CN111428622A (zh) * 2020-03-20 2020-07-17 上海健麾信息技术股份有限公司 一种基于分割算法的图像定位方法及其应用
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及***
CN112102415A (zh) * 2020-08-25 2020-12-18 中国人民解放军63919部队 基于标定球的深度相机外参数标定方法、装置及设备
CN112819883A (zh) * 2021-01-28 2021-05-18 华中科技大学 一种规则对象检测及定位方法
CN112819883B (zh) * 2021-01-28 2024-04-26 华中科技大学 一种规则对象检测及定位方法
CN113362276A (zh) * 2021-04-26 2021-09-07 广东大自然家居科技研究有限公司 板材视觉检测方法及***
CN113362276B (zh) * 2021-04-26 2024-05-10 广东大自然家居科技研究有限公司 板材视觉检测方法及***
CN114373105A (zh) * 2021-12-20 2022-04-19 华南理工大学 一种点云标注及数据集制作的方法、***、装置及介质
CN114295076B (zh) * 2022-01-05 2023-10-20 南昌航空大学 一种解决基于结构光的微小物体测量阴影问题的测量方法
CN114295076A (zh) * 2022-01-05 2022-04-08 南昌航空大学 一种解决基于结构光的微小物体测量阴影问题的测量方法
CN115139325A (zh) * 2022-09-02 2022-10-04 星猿哲科技(深圳)有限公司 物体抓取***

Also Published As

Publication number Publication date
AU2018370629A1 (en) 2020-07-02
US20190362178A1 (en) 2019-11-28
CN108010036B (zh) 2020-01-21
WO2019100647A1 (zh) 2019-05-31
US10607106B2 (en) 2020-03-31
AU2018370629B2 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
CN108010036A (zh) 一种基于rgb-d相机的物体对称轴检测方法
CN105022990B (zh) 一种基于无人艇应用的水面目标快速检测方法
CN106548165A (zh) 一种基于图像分块加权的卷积神经网络的人脸识别方法
TWI553565B (zh) 利用二維臉部影像估測其三維角度方法，及其臉部置換資料庫建立方法與臉部影像置換方法
CN102141398B (zh) 基于单目视觉的多机器人位置与姿态测量方法
CN112070818A (zh) 基于机器视觉的机器人无序抓取方法和***及存储介质
CN107239748A (zh) 基于棋盘格标定技术的机器人目标识别与定位方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN109308718B (zh) 一种基于多深度相机的空间人员定位装置及方法
CN106683137A (zh) 基于人工标志的单目多目标识别与定位方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、***和存储介质
CN105160686B (zh) 一种基于改进sift算子的低空多视角遥感影像匹配方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN114067309B (zh) 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法
WO2020151454A1 (zh) 一种基于线束描述子图像匹配的无纹理金属零件抓取方法
CN110021029A (zh) 一种适用于rgbd-slam的实时动态配准方法及存储介质
CN104315998B (zh) 一种基于深度图像和方位角的门开度判断方法
Han et al. Target positioning method in binocular vision manipulator control based on improved canny operator
Wang et al. An adaptive and online underwater image processing algorithm implemented on miniature biomimetic robotic fish
CN116277030A (zh) 一种基于深度视觉的无模型抓取规划方法和***
CN116188763A (zh) 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法
CN115841668A (zh) 一种双目视觉苹果识别以及精准定位的方法
CN113128320B (zh) 基于tof相机的人脸活体检测方法、检测装置及电子设备
CN113240712A (zh) 一种基于视觉的水下集群邻居跟踪测量方法
CN113255455A (zh) 基于矢量去光照影响算法的单目相机物体识别与定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant