CN108010036B - 一种基于rgb-d相机的物体对称轴检测方法 - Google Patents

一种基于rgb-d相机的物体对称轴检测方法 Download PDF

Info

Publication number
CN108010036B
CN108010036B CN201711165747.2A CN201711165747A CN108010036B CN 108010036 B CN108010036 B CN 108010036B CN 201711165747 A CN201711165747 A CN 201711165747A CN 108010036 B CN108010036 B CN 108010036B
Authority
CN
China
Prior art keywords
point cloud
candidate
point
cloud data
symmetry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711165747.2A
Other languages
English (en)
Other versions
CN108010036A (zh
Inventor
黄敏
李�浩
朱启兵
李艳华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201711165747.2A priority Critical patent/CN108010036B/zh
Priority to US16/093,658 priority patent/US10607106B2/en
Priority to AU2018370629A priority patent/AU2018370629B2/en
Priority to PCT/CN2018/083260 priority patent/WO2019100647A1/zh
Publication of CN108010036A publication Critical patent/CN108010036A/zh
Application granted granted Critical
Publication of CN108010036B publication Critical patent/CN108010036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RGB‑D相机的物体对称轴检测方法，涉及图像处理领域，该方法包括：获取自然场景下的目标物体的图像的三维点云数据，根据色差阈值分割法从三维点云数据中识别出目标物体所在区域的点云对应的目标点云数据，以目标点云数据的为中心建立球坐标系，利用球坐标系分割法选出n2个候选对称平面，根据n2个候选对称平面计算目标点云数据的对称轴，即为目标物体的对称轴；该方法实现了目标物体RGB‑D图像的三维重建，以及点云滤波，最后通过采用一种积分策略实现对目标物体对称轴的检测，当该方法应用于水果采摘领域时，可以基于自然场景中拍摄的果实的图像准确地寻找果实的对称轴，提高了水果的自动化采摘效率。

Description

一种基于RGB-D相机的物体对称轴检测方法
技术领域
本发明涉及图像处理领域，尤其是一种基于RGB-D相机的物体对称轴检测方法。
背景技术
水果采摘机器人可以自动检测水果并进行采摘，因其效率高自动化程度好的优点而被广泛使用，水果采摘机器人的采摘动作依赖于其视觉检测***对水果的准确检测与定位，文献表明，如果水果相对于果实和茎的方向以特定方式旋转和扭曲，可以提高水果的采摘效率，因此为了进一步提高采摘效率，需要提高水果采摘机器人对于果实对称轴的检测精度。
目前比较常见的对果实对称轴的检测方法有基于曲面曲率变化寻找对称轴方法、基于学习的自然图像检测方法，以及基于边缘特征学习的自然图像对称轴检测方法等，不过它们还存在着许多问题，如：使用的三维点云要求十分精确，学习时间会随着点云数据增多而变得很长，不便于从自然场景中拍摄的图像来检测水果对称轴等。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于RGB-D相机的物体对称轴检测方法，该方法可以对自然场景下的物体的对称轴进行精确检测。
本发明的技术方案如下：
一种基于RGB-D相机的物体对称轴检测方法，该方法包括：
对RGB-D相机的彩色相机和深度相机进行标定，获取RGB-D相机的相机参数；
通过RGB-D相机的彩色相机获取目标物体的彩色图像，通过RGB-D相机的深度相机获取目标物体的深度图像；
根据RGB-D相机的相机参数将深度图像映射到彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像，并将彩色图像和对齐后的深度图像处理为三维点云数据，三维点云数据包括点云的三维坐标和颜色信息；
根据色差阈值分割法从三维点云数据中识别出目标点云数据，目标点云数据是目标物体所在区域的点云对应的数据；
求取目标点云数据的质心，并以质心为中心建立球坐标系，利用球坐标系分割法选出n2个候选对称平面，n大于3且n为整数；
根据n2个候选对称平面计算目标点云数据的对称轴，确定目标点云数据的对称轴为目标物体的对称轴。
其进一步的技术方案为，根据n2个候选对称平面计算目标点云数据的对称轴，包括：
根据预设积分策略计算n2个候选对称平面中每个候选对称平面的分数；
确定分数最低的候选对称平面为目标物体的对称平面；
根据目标物体的对称平面计算得到目标点云数据的对称轴。
其进一步的技术方案为，根据目标物体的对称平面计算得到目标点云数据的对称轴，包括计算：
Figure BDA0001476251120000021
其中，
Figure BDA0001476251120000022
是目标点云数据的对称轴向量，
Figure BDA0001476251120000023
是目标物体的对称平面的法向量，pv是视点的坐标，po是目标点云数据的质心的坐标。
其进一步的技术方案为，根据预设积分策略计算n2个候选对称平面中每个候选对称平面的分数，包括：
对于每个候选对称平面，确定候选对称平面中的候选点，候选点是在候选对称平面中有对称伙伴的点；
根据预设积分策略计算得到每个候选点的分数；
确定各个候选点的分数之和为候选对称平面的分数。
其进一步的技术方案为，根据预设积分策略计算得到每个候选点的分数，包括：
将候选点关于候选对称平面做对称变化得到候选点的对称点；
根据K最近邻KNN分类算法确定与候选点的对称点距离最近的邻近点，确定候选点的对称点与邻近点的距离；
计算xscore＝dmin+ω·α，其中，xscore是候选点的分数，dmin是候选点的对称点与邻近点的距离，α是候选点的对称点的法向量与邻近点的法向量之间的夹角，ω为权重系数。
其进一步的技术方案为，确定候选对称平面中的候选点，包括：
计算
Figure BDA0001476251120000031
pv是视点的坐标，p是候选对称平面中一侧的点，
Figure BDA0001476251120000032
是点处的法向量；
当
Figure BDA0001476251120000033
时，确定点在候选对称平面中有对称伙伴，则确定点为候选点。
其进一步的技术方案为，根据色差阈值分割法从三维点云数据中识别出目标点云数据，包括；
根据色差阈值分割法从三维点云数据中识别出前景点云数据；
对于前景点云数据中的各个点云的任意一个点云，计算
Figure BDA0001476251120000034
di为点云与点云各个邻近点之间的平均距离，k为点云的邻近点的个数；
检测di是否在μ±γσ范围内，其中，
Figure BDA0001476251120000035
m为前景点云数据中的点云的个数，γ为参数；
若di在μ±γσ范围内，则确定点云对应的数据是目标点云数据。
其进一步的技术方案为，根据色差阈值分割法从三维点云数据中识别出前景点云数据，包括：
对于三维点云数据中的任意一个点云，计算Rs-Gs，Rs为点云的红色通道R信息，Gs为点云的绿色通道G信息；
若Rs-Gs＞δ，则确定点云对应的数据是前景点云数据。
其进一步的技术方案为，以质心为中心建立球坐标系，利用球坐标系分割法选出n2个候选对称平面，包括：
以质心为中心建立球坐标系，确定水平分割角和垂直分割角的范围；
通过计算
Figure BDA0001476251120000036
将水平分割角进行等分，通过计算
Figure BDA0001476251120000037
将垂直分割角进行等分，其中，thetaBinSize是水平分割角的变化范围，phiBinSize是垂直分割角的变化范围，θ(2)和θ(1)分别为水平分割角的最大值与最小值，和
Figure BDA0001476251120000039
分别为垂直分割角的最大值和最小值；
分别改变水平分割角和垂直分割角n次，得到n2组分割平面的单位法向量；
根据n2组分割平面的单位法向量得到n2个候选对称平面。
其进一步的技术方案为，求取目标点云数据的质心，包括：
在目标点云数据附近随机产生预定数量的随机点，预定数量大于目标点云数据的个数；
对于每个随机点，求取随机点与目标点云数据中的各个点云之间的距离的标准差；
确定与目标点云数据中的各个点云之间的距离的标准差最小的随机点为目标点云数据的质心。
本发明的有益技术效果是：
本申请公开了一种基于RGB-D相机的物体对称轴检测方法，该方法实现了目标物体RGB-D图像的三维重建，以及点云滤波，最后通过采用一种积分策略实现对目标物体对称轴的检测，当该方法应用于水果采摘领域时，可以基于自然场景中拍摄的果实的图像准确地寻找果实的对称轴，克服了先前水果识别仅精确到个体而不能描述个体特征的缺陷，便于机械手抓取，提高了水果的自动化采摘效率，并且减少对水果的损伤。
附图说明
图1是本发明公开的基于RGB-D相机的物体对称轴检测方法的方法流程图。
图2是彩色相机与深度相机之间的坐标映射模型示意图。
图3是根据预设积分策略计算每个候选点的分数的示意图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种基于RGB-D相机的物体对称轴检测方法，该方法基于RGB-D相机，RGB-D相机包括一个彩色相机和一个深度相机，该检测方法包括如下步骤，主要流程图请参考图1：
一、分别对RGB-D相机的彩色相机和深度相机进行标定，获取RGB-D相机的相机参数，该相机参数包括彩色相机的参数以及深度相机的参数，本申请采用的标定方法为张正友标定法，实际也可以采用其他方法，本申请对此不做限定。采用张正友标定法对RGB-D相机的彩色相机进行标定，可以获取彩色相机内部参数Hrgb和彩色相机外部参数(Rrgb，Trgb)；采用张正友标定法对RGB-D相机的深度相机进行标定，可以获取深度相机内部参数Hd和深度相机外部参数(Rd，Td)。
二、通过RGB-D相机的彩色相机获取目标物体的彩色图像，通过RGB-D相机的深度相机获取目标物体的深度图像，在本申请中，目标物体为自然场景下拍摄的果树上的果实，彩色相机采集到的彩色图像的分辨率较高，通常为1080*1920，深度相机采集到的深度图像的分辨率较低，通常为424*512，彩色图像和深度图像的具体分辨率由RGB-D相机的硬件参数和人为设定等因素来决定，本申请对此不做限定。
在实际实现时，上述步骤一和步骤二没有特定的先后顺序。
三、利用RGB-D相机的相机参数，根据投影逆变换和空间坐标系之间的坐标映射关系，将深度信息映射到彩色图像像素坐标系中，获取与彩色图像的像素点一一对应的对齐后的深度图像，对其后的深度图像的分辨率与彩色图像的分辨率相同，为1080*1920，具体包括如下步骤，示意图如图2所示：
步骤1：利用彩色相机外部参数根据投影逆变换获取在世界坐标系P(Xw，Yw，Zw)下的彩色相机的投影坐标Prgb(Xc1，Yc1，Zc1)，利用深度相机外部参数根据投影逆变换获取在世界坐标系P(Xw,Yw,Zw)下的深度相机的投影坐标Pd(Xc2，Yc2，Zc2)。
步骤2：利用彩色相机内部参数获取在彩色相机坐标系下的图像像素的坐标Prgb(u1，v1)，利用深度相机内部参数获取在深度相机坐标系下的图像像素的坐标Pd(u2，v2)。
步骤3：根据世界坐标系下的彩色相机的投影坐标Prgb(Xc1，Yc1，Zc1)、世界坐标系下的深度相机的投影坐标Pd(Xc2，Yc2，Zc2)、彩色相机坐标系下的图像像素的坐标Prgb(u1，v1)以及深度相机坐标系下的图像像素的坐标Pd(u2，v2)确定彩色图像像素坐标与深度图像像素坐标之间的对应关系。
步骤4，最后根据彩色图像像素坐标与深度图像像素坐标之间的对应关系将深度图像映射到彩色图像像素坐标系中，从而获得对齐后的深度图像。
四、将彩色图像和对齐后的深度图像处理为三维点云数据s＝(x,y,z,R,G,B)，三维点云数据包括点云的三维坐标和颜色信息，其中，x、y、z分别为点云对应于空间X轴、Y轴和Z轴的坐标，R为点云的红色通道信息，G为点云的绿色通道信息，B为点云的蓝色通道信息。
五、根据色差阈值分割法从三维点云数据中识别出前景点云数据，具体的，对于三维点云数据中的任意一个点云，计算RS-GS来将前景和背景进行分离，RS为该点云的R信息，GS为该点云的G信息，若RS-GS＞δ，则确定该点云对应的数据是前景点云数据，若RS-GS≤δ，则确定该点云对应的数据是背景点云数据，δ为预设阈值，通常为一经验值，比如取δ＝13。
六、经过色差阈值分割后得到的前景点云数据中，除了目标物体所在区域的点云外，还包括一些偏离目标物体较远的离群噪声点，采用离群滤波的方法滤除这些噪声，具体的，对于前景点云数据中的任意一个点云pi，计算：
Figure BDA0001476251120000061
Figure BDA0001476251120000062
Figure BDA0001476251120000063
其中，di为该点云pi与其在空间内各个邻近点pj之间的平均距离，xi、yi、Zi为点云pi的三维坐标，xj、yj、Zj为点云pj的三维坐标，m为前景点云数据中的点云的个数，k为搜索的该点云pi的邻近点的个数，k为预设值；μ为各个点云对应的距离di的平均值，σ为各个点云对应的距离di的标准差。
检测di是否在μ±γσ范围内，γ为参数；参数γ的取值与临近点的个数k的大小有关，通常情况下根据经验将k的取值设为80～100，则对应的γ的取值为0.8～1.2。若di在μ±γσ范围内，则确定该点云对应的数据是目标点云数据，也即是目标物体所在区域的点云对应的数据。若di不在μ±γσ范围内，则确定该点云是偏离目标物体较远的离群噪声点，滤除该点云。
七、求取目标点云数据的质心P0，即在目标点云数据附近随机产生预定数量的随机点，预定数量大于目标点云数据的个数，通常该预定数量为目标点云数据的个数的2-3倍。遍历所有随机点，对于每个随机点，求取该随机点与目标点云数据中的各个点云之间的欧式距离，将距离波动最小的随机点确定质心P0，也即求取随机点与目标点云数据中的各个点云之间的距离的标准差，将与目标点云数据中的各个点云之间的距离的标准差最小的随机点为目标点云数据的质心P0。
八、以质心P0为中心建立球坐标系，利用球坐标系分割法选出n2个候选对称平面，包括如下几个步骤，其中n大于3且n为整数：
步骤1:确定水平分割角θ和垂直分割角
Figure BDA0001476251120000064
的范围，水平分割角θ的范围应为整个范围，即θ∈[0,π]，而
Figure BDA0001476251120000065
只覆盖z轴负半轴，即
Figure BDA0001476251120000066
步骤2:将水平分割角θ和垂直分割角
Figure BDA0001476251120000067
等分，即计算：
Figure BDA0001476251120000071
其中，thetaBinSize是水平分割角θ的变化范围，phiBinSize是垂直分割角
Figure BDA0001476251120000073
的变化范围，θ(2)和θ(1)分别为水平分割角θ的最大值与最小值，
Figure BDA0001476251120000074
和
Figure BDA0001476251120000075
分别为垂直分割角的最大值和最小值。
步骤3:分别改变水平分割角θ和垂直分割角
Figure BDA0001476251120000077
n次，得到n2组分割平面的单位法向量。一种具体的做法是：保持水平分割角θ不变，通过改变垂直分割角
Figure BDA0001476251120000078
计算出分割平面的单位法向量，循环改变垂直分割角
Figure BDA0001476251120000079
共n次计算出n个单位法向量；循环改变水平分割角θ共n次，对于每个水平分割角θ，循环改变垂直分割角
Figure BDA00014762511200000710
得到n2组分割平面的单位法向量，即得到了n2个候选对称平面，每个单位法向量的计算方法如下：
x＝r*sin(theta)*cos(phi)；
y＝r*sin(theta)*sin(phi)；
z＝r*cos(theta)；
Figure BDA00014762511200000711
Figure BDA00014762511200000712
其中，x，y，z是计算得到单位法向量的坐标值，theta是球坐标系中的方位角，phi是球坐标系中的高低角，r是单位圆的半径，i和j为参数，i是水平分割角θ循环改变的次数，j是垂直分割角循环改变的次数。
九、根据预设积分策略计算n2个候选对称平面中每个候选对称平面的分数，遍历各个候选对称平面，确定分数最低的候选对称平面为目标物体的对称平面。以一个候选对称平面的分数计算为例，其计算过程包括如下步骤：
步骤1:先确定该候选对称平面中的候选点：计算
Figure BDA00014762511200000714
pv是视点的坐标，默认为(0,0,0)，p是候选对称平面中一侧的点，是该点处的法向量。当
Figure BDA00014762511200000716
时，确定该点在候选对称平面中有对称伙伴，则确定点为候选点；当时，确定该点在候选对称平面中无对称伙伴。使用该方法筛选出该候选对称平面中的所有候选点。
对于每个点p处的法向量的确定方法为：基于局部表面拟合的方法，获取与点p最相邻的t个相邻点，t为整数，然后为这些点计算一个最小二乘意义上的局部平面P，此局部平面P可以表述为：
Figure BDA0001476251120000081
其中，
Figure BDA0001476251120000082
为局部平面P的法向量，w为局部平面P到坐标原点的距离，
Figure BDA0001476251120000083
表示点p处的法向量。由于局部平面P经过t个近邻点拟合曲面的质心同时，法向量
Figure BDA0001476251120000085
需要满足
Figure BDA0001476251120000086
因此问题可以转化为对如下半正定的协方差矩阵M进行特征值分解：
Figure BDA0001476251120000087
对应于该协方差矩阵M最小特征值的特征向量即为点p处的法向量。
步骤2：根据预设积分策略计算得到每个候选点的分数，具体为，将候选点
Figure BDA0001476251120000088
关于候选对称平面做对称变化得到候选点的对称点
Figure BDA0001476251120000089
根据KNN分类算法(K-NearestNeighbor，KNN)确定与候选点的对称点距离最近的邻近点
Figure BDA00014762511200000811
确定候选点的对称点
Figure BDA00014762511200000812
与邻近点
Figure BDA00014762511200000813
的距离dmin，示意图请参考图3；计算xscore＝dmin+ω·α，其中，xscore是候选点的分数，α是候选点的对称点的法向量与邻近点的法向量之间的夹角，ω为权重系数。
步骤3:确定各个候选点的分数之和为候选对称平面的分数。
十、根据目标物体的对称平面计算得到目标点云数据的对称轴，即计算：
Figure BDA00014762511200000814
其中，
Figure BDA00014762511200000815
是目标点云数据的对称轴向量，
Figure BDA00014762511200000816
是目标物体的对称平面的法向量，pv是视点的坐标，默认为(0,0,0)，P0是目标点云数据的质心的坐标，该目标点云数据的对称轴即为目标物体的对称轴。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (10)

1.一种基于RGB-D相机的物体对称轴检测方法，其特征在于，所述方法包括：
对RGB-D相机的彩色相机和深度相机进行标定，获取所述RGB-D相机的相机参数；
通过RGB-D相机的彩色相机获取目标物体的彩色图像，通过RGB-D相机的深度相机获取所述目标物体的深度图像；
根据所述RGB-D相机的相机参数将所述深度图像映射到所述彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像，并将所述彩色图像和所述对齐后的深度图像处理为三维点云数据，所述三维点云数据包括点云的三维坐标和颜色信息；
根据色差阈值分割法从所述三维点云数据中识别出目标点云数据，所述目标点云数据是所述目标物体所在区域的点云对应的数据；
求取所述目标点云数据的质心，并以所述质心为中心建立球坐标系，利用球坐标系分割法选出n2个候选对称平面，n大于3且n为整数；
根据所述n2个候选对称平面计算所述目标点云数据的对称轴，确定所述目标点云数据的对称轴为所述目标物体的对称轴。
2.根据权利要求1所述的方法，其特征在于，所述根据所述n2个候选对称平面计算所述目标点云数据的对称轴，包括：
根据预设积分策略计算所述n2个候选对称平面中每个候选对称平面的分数；
确定分数最低的候选对称平面为所述目标物体的对称平面；
根据所述目标物体的对称平面计算得到所述目标点云数据的所述对称轴。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标物体的对称平面计算得到所述目标点云数据的所述对称轴，包括计算：
Figure FDA0002117054230000011
其中，
Figure FDA0002117054230000013
是所述目标点云数据的对称轴向量，
Figure FDA0002117054230000012
是所述目标物体的对称平面的法向量，pv是视点的坐标，po是所述目标点云数据的质心的坐标。
4.根据权利要求2所述的方法，其特征在于，所述根据预设积分策略计算所述n2个候选对称平面中每个候选对称平面的分数，包括：
对于每个候选对称平面，确定所述候选对称平面中的候选点，所述候选点是在所述候选对称平面中有对称伙伴的点；
根据所述预设积分策略计算得到每个所述候选点的分数；
确定各个所述候选点的分数之和为所述候选对称平面的分数。
5.根据权利要求4所述的方法，其特征在于，根据所述预设积分策略计算得到每个所述候选点的分数，包括：
将所述候选点关于所述候选对称平面做对称变化得到所述候选点的对称点；
根据K最近邻KNN分类算法确定与所述候选点的对称点距离最近的邻近点，确定所述候选点的对称点与所述邻近点的距离；
计算xscore＝dmin+ω·α，其中，xscore是所述候选点的分数，dmin是所述候选点的对称点与所述邻近点的距离，α是所述候选点的对称点的法向量与所述邻近点的法向量之间的夹角，ω为权重系数。
6.根据权利要求4所述的方法，其特征在于，所述确定所述候选对称平面中的候选点，包括：
计算
Figure FDA0002117054230000021
pv是视点的坐标，p是所述候选对称平面中一侧的点，
Figure FDA0002117054230000023
是所述点处的法向量；
当
Figure FDA0002117054230000022
时，确定所述点在所述候选对称平面中有对称伙伴，则确定所述点为候选点。
7.根据权利要求1至6任一所述的方法，其特征在于，根据色差阈值分割法从所述三维点云数据中识别出目标点云数据，包括；
根据色差阈值分割法从所述三维点云数据中识别出前景点云数据；
对于所述前景点云数据中的各个点云的任意一个点云，计算
Figure FDA0002117054230000024
di为所述点云与所述点云各个邻近点之间的平均距离，k为所述点云的邻近点的个数；
检测di是否在μ±γσ范围内，其中，
Figure FDA0002117054230000025
m为所述前景点云数据中的点云的个数，γ为参数；
若di在μ±γσ范围内，则确定所述点云对应的数据是所述目标点云数据。
8.根据权利要求7所述的方法，其特征在于，所述根据色差阈值分割法从所述三维点云数据中识别出前景点云数据，包括：
对于所述三维点云数据中的任意一个点云，计算Rs-Gs，Gs为所述点云的红色通道R信息，Gs为所述点云的绿色通道G信息；
若Rs-Gs＞δ，则确定所述点云对应的数据是所述前景点云数据，δ为预设阈值。
9.根据权利要求1至6任一所述的方法，其特征在于，所述以所述质心为中心建立球坐标系，利用球坐标系分割法选出n2个候选对称平面，包括：
以所述质心为中心建立球坐标系，确定水平分割角和垂直分割角的范围；
通过计算
Figure FDA0002117054230000031
将所述水平分割角进行等分，通过计算将所述垂直分割角进行等分，其中，thetaBinSize是水平分割角的变化范围，phiBinSize是垂直分割角的变化范围，θ(2)和θ(1)分别为水平分割角的最大值与最小值，
Figure FDA0002117054230000033
和分别为垂直分割角的最大值和最小值；
分别改变所述水平分割角和所述垂直分割角n次，得到n2组分割平面的单位法向量；
根据所述n2组分割平面的单位法向量得到n2个候选对称平面。
10.根据权利要求1至6任一所述的方法，其特征在于，所述求取所述目标点云数据的质心，包括：
在所述目标点云数据附近随机产生预定数量的随机点，所述预定数量大于所述目标点云数据的个数；
对于每个所述随机点，求取所述随机点与所述目标点云数据中的各个点云之间的距离的标准差；
确定与所述目标点云数据中的各个点云之间的距离的标准差最小的随机点为所述目标点云数据的质心。
CN201711165747.2A 2017-11-21 2017-11-21 一种基于rgb-d相机的物体对称轴检测方法 Active CN108010036B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711165747.2A CN108010036B (zh) 2017-11-21 2017-11-21 一种基于rgb-d相机的物体对称轴检测方法
US16/093,658 US10607106B2 (en) 2017-11-21 2018-04-17 Object symmetry axis detection method based on RGB-D camera
AU2018370629A AU2018370629B2 (en) 2017-11-21 2018-04-17 RGB-D camera-based object symmetry axis detection method
PCT/CN2018/083260 WO2019100647A1 (zh) 2017-11-21 2018-04-17 一种基于rgb-d相机的物体对称轴检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711165747.2A CN108010036B (zh) 2017-11-21 2017-11-21 一种基于rgb-d相机的物体对称轴检测方法

Publications (2)

Publication Number Publication Date
CN108010036A CN108010036A (zh) 2018-05-08
CN108010036B true CN108010036B (zh) 2020-01-21

Family

ID=62053109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711165747.2A Active CN108010036B (zh) 2017-11-21 2017-11-21 一种基于rgb-d相机的物体对称轴检测方法

Country Status (4)

Country Link
US (1) US10607106B2 (zh)
CN (1) CN108010036B (zh)
AU (1) AU2018370629B2 (zh)
WO (1) WO2019100647A1 (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10854011B2 (en) 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment
CN110473283B (zh) * 2018-05-09 2024-01-23 无锡时代天使医疗器械科技有限公司 牙齿三维数字模型的局部坐标系设定方法
CN109146894A (zh) * 2018-08-07 2019-01-04 庄朝尹 一种三维建模的模型区域分割方法
CN109344868B (zh) * 2018-08-28 2021-11-16 广东奥普特科技股份有限公司 一种区分互为轴对称的不同类物件的通用方法
US11823461B1 (en) 2018-09-28 2023-11-21 Direct Current Capital LLC Systems and methods for perceiving a scene around a mobile device
US11567497B1 (en) 2019-02-04 2023-01-31 Direct Current Capital LLC Systems and methods for perceiving a field around a device
US10549928B1 (en) 2019-02-22 2020-02-04 Dexterity, Inc. Robotic multi-item type palletizing and depalletizing
US11741566B2 (en) * 2019-02-22 2023-08-29 Dexterity, Inc. Multicamera image processing
US11460855B1 (en) 2019-03-29 2022-10-04 Direct Current Capital LLC Systems and methods for sensor calibration
CN110032962B (zh) * 2019-04-03 2022-07-08 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
CN110567422B (zh) * 2019-06-25 2021-07-06 江苏省特种设备安全监督检验研究院 一种起重机吊钩扭转角自动检测方法
CN110648359B (zh) * 2019-09-23 2022-07-08 山东师范大学 一种果实目标定位识别方法及***
CN110853080A (zh) * 2019-09-30 2020-02-28 广西慧云信息技术有限公司 一种田间果实尺寸的测量方法
CN110992372B (zh) * 2019-11-21 2023-08-29 浙江大华技术股份有限公司 物品抓取方法、装置、存储介质及电子装置
TWI759651B (zh) * 2019-11-21 2022-04-01 財團法人工業技術研究院 基於機器學習的物件辨識系統及其方法
CN111754515B (zh) * 2019-12-17 2024-03-01 北京京东乾石科技有限公司 堆叠物品的顺序抓取方法和装置
CN111028345B (zh) * 2019-12-17 2023-05-02 中国科学院合肥物质科学研究院 一种港口场景下圆形管道的自动识别与对接方法
CN111126296A (zh) * 2019-12-25 2020-05-08 中国联合网络通信集团有限公司 水果定位方法及装置
CN111144480A (zh) * 2019-12-25 2020-05-12 深圳蓝胖子机器人有限公司 一种可回收垃圾视觉分类方法、***、设备
CN111160280B (zh) * 2019-12-31 2022-09-30 芜湖哈特机器人产业技术研究院有限公司 基于rgbd相机的目标物体识别与定位方法及移动机器人
CN111311576B (zh) * 2020-02-14 2023-06-02 易思维（杭州）科技有限公司 基于点云信息的缺陷检测方法
CN111353417A (zh) * 2020-02-26 2020-06-30 北京三快在线科技有限公司 一种目标检测的方法及装置
CN111428622B (zh) * 2020-03-20 2023-05-09 上海健麾信息技术股份有限公司 一种基于分割算法的图像定位方法及其应用
CN111899301A (zh) * 2020-06-02 2020-11-06 广州中国科学院先进技术研究所 一种基于深度学习的工件6d位姿估计方法
CN111768487B (zh) * 2020-06-11 2023-11-28 武汉市工程科学技术研究院 基于三维点云库的地质岩层数据三维重建***及方法
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及***
CN112102415A (zh) * 2020-08-25 2020-12-18 中国人民解放军63919部队 基于标定球的深度相机外参数标定方法、装置及设备
CN112017220B (zh) * 2020-08-27 2023-07-28 南京工业大学 一种基于抗差约束最小二乘算法的点云精确配准方法
CN112115953B (zh) * 2020-09-18 2023-07-11 南京工业大学 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法
CN112258631B (zh) * 2020-10-20 2023-12-08 河海大学常州校区 一种基于深度神经网络的三维目标检测方法及***
CN112720459B (zh) * 2020-12-02 2022-07-12 达闼机器人股份有限公司 目标物体抓取方法、装置、存储介质及电子设备
CN112686859B (zh) * 2020-12-30 2024-03-15 中国农业大学 基于热红外和rgb-d相机的作物cwsi的检测方法
WO2022147774A1 (zh) * 2021-01-08 2022-07-14 浙江大学 基于三角剖分和概率加权ransac算法的物***姿识别方法
CN112819883B (zh) * 2021-01-28 2024-04-26 华中科技大学 一种规则对象检测及定位方法
CN112766223B (zh) * 2021-01-29 2023-01-06 西安电子科技大学 基于样本挖掘与背景重构的高光谱图像目标检测方法
CN112652075B (zh) * 2021-01-30 2022-08-09 上海汇像信息技术有限公司 对称物体3d模型的对称拟合方法
CN113344844A (zh) * 2021-04-14 2021-09-03 山东师范大学 基于rgb-d多模图像信息的目标果实检测方法及***
CN113362276B (zh) * 2021-04-26 2024-05-10 广东大自然家居科技研究有限公司 板材视觉检测方法及***
CN113192206B (zh) * 2021-04-28 2023-04-07 华南理工大学 基于目标检测和背景去除的三维模型实时重建方法及装置
CN113205465B (zh) * 2021-04-29 2024-04-19 上海应用技术大学 点云数据集分割方法及***
CN113447948B (zh) * 2021-05-28 2023-03-21 淮阴工学院 一种基于ros机器人的相机与多激光雷达融合方法
CN113469195B (zh) * 2021-06-25 2024-02-06 浙江工业大学 一种基于自适应颜色快速点特征直方图的目标识别方法
CN113470049B (zh) * 2021-07-06 2022-05-20 吉林省田车科技有限公司 一种基于结构化彩色点云分割的完整目标提取方法
CN113989391A (zh) * 2021-11-11 2022-01-28 河北农业大学 基于rgb-d相机的动物体三维模型重构***及方法
CN114373105A (zh) * 2021-12-20 2022-04-19 华南理工大学 一种点云标注及数据集制作的方法、***、装置及介质
CN114323283A (zh) * 2021-12-30 2022-04-12 中铭谷智能机器人(广东)有限公司 一种钣金颜色特征智能识别框选方法
CN114295076B (zh) * 2022-01-05 2023-10-20 南昌航空大学 一种解决基于结构光的微小物体测量阴影问题的测量方法
CN115082815B (zh) * 2022-07-22 2023-04-07 山东大学 基于机器视觉的茶芽采摘点定位方法、装置及采摘***
CN115139325B (zh) * 2022-09-02 2022-12-23 星猿哲科技(深圳)有限公司 物体抓取***
CN117011309B (zh) * 2023-09-28 2023-12-26 济宁港航梁山港有限公司 基于人工智能及深度数据的自动盘煤***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104126989A (zh) * 2014-07-30 2014-11-05 福州大学 一种基于多台rgb-d摄像机下的足部表面三维信息获取方法
CN104298971A (zh) * 2014-09-28 2015-01-21 北京理工大学 一种3d点云数据中的目标识别方法
CN105184830A (zh) * 2015-08-28 2015-12-23 华中科技大学 一种对称图像对称轴检测定位方法
CN106780528A (zh) * 2016-12-01 2017-05-31 广西师范大学 基于边缘线匹配的图像对称轴检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494297B2 (en) * 2007-04-05 2013-07-23 Adobe Systems Incorporated Automatic detection and mapping of symmetries in an image
WO2015172227A1 (en) * 2014-05-13 2015-11-19 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104126989A (zh) * 2014-07-30 2014-11-05 福州大学 一种基于多台rgb-d摄像机下的足部表面三维信息获取方法
CN104298971A (zh) * 2014-09-28 2015-01-21 北京理工大学 一种3d点云数据中的目标识别方法
CN105184830A (zh) * 2015-08-28 2015-12-23 华中科技大学 一种对称图像对称轴检测定位方法
CN106780528A (zh) * 2016-12-01 2017-05-31 广西师范大学 基于边缘线匹配的图像对称轴检测方法

Also Published As

Publication number Publication date
CN108010036A (zh) 2018-05-08
AU2018370629A1 (en) 2020-07-02
US20190362178A1 (en) 2019-11-28
WO2019100647A1 (zh) 2019-05-31
US10607106B2 (en) 2020-03-31
AU2018370629B2 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
CN108010036B (zh) 一种基于rgb-d相机的物体对称轴检测方法
US11227405B2 (en) Determining positions and orientations of objects
CN109211198B (zh) 一种基于三目视觉的智能目标检测和测量***和方法
CN110546651B (zh) 用于识别对象的方法、***和计算机可读介质
CN108876723B (zh) 一种灰度目标图像的彩色背景的构建方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN106683137B (zh) 基于人工标志的单目多目标识别与定位方法
CN108171715B (zh) 一种图像分割方法及装置
CN109961417B (zh) 图像处理方法、装置及移动装置控制方法
CN107977996B (zh) 基于靶标标定定位模型的空间目标定位方法
CN104008542B (zh) 一种针对特定平面图形的快速角点匹配方法
CN111814792B (zh) 一种基于rgb-d图像的特征点提取与匹配方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、***和存储介质
CN105787943B (zh) 基于多尺度图像块特征和稀疏表示的sar图像配准方法
CN109214254B (zh) 一种确定机器人位移的方法及装置
CN110443247A (zh) 一种无人机地面运动小目标实时检测***及方法
CN105957107A (zh) 行人检测与跟踪方法及装置
CN108960267A (zh) 用于模型调整的***和方法
US20190279022A1 (en) Object recognition method and device thereof
CN109493384A (zh) 相机位姿估计方法、***、设备及存储介质
CN108320310B (zh) 基于图像序列的空间目标三维姿态估计方法
CN110245600A (zh) 自适应起始快速笔画宽度无人机道路检测方法
CN110751688A (zh) 一种基于深度图像的剔除噪声的立方物体体积计算方法
CN115841668A (zh) 一种双目视觉苹果识别以及精准定位的方法
EP4118621A1 (en) Methods and apparatuses for detecting a change in an area of interest

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant