CN109872355A - 一种基于深度相机的最短距离获取方法及装置 - Google Patents
一种基于深度相机的最短距离获取方法及装置 Download PDFInfo
- Publication number
- CN109872355A CN109872355A CN201910073414.XA CN201910073414A CN109872355A CN 109872355 A CN109872355 A CN 109872355A CN 201910073414 A CN201910073414 A CN 201910073414A CN 109872355 A CN109872355 A CN 109872355A
- Authority
- CN
- China
- Prior art keywords
- pixel
- cloud
- camera
- distance
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明公开了一种基于深度相机的最短距离获取方法及装置，应用于最短最短距离探测***，方法包括：1)、根据待转换的深度图对应的深度相机的焦距以及深度相机的相元尺寸，获取深度图中各个像素点对应的空间坐标，并将包含空间坐标的集合作为深度图的点云；2)、对点云进行去噪处理，并获取点云中的降采样数据；3)、构建与深度图对应的机器人相同工作状态的虚拟机器人，将虚拟机器人对应的数据作为机器人点云；4)、根据不包含机器人点云，利用高斯背景建模算法，检测出采样数据中包含的闯入的外物；5)计算出机器人点云和各个闯入的外物的距离，从而得到最短距离。应用本发明实施例，可以提高距离识别的准确性。
Description
技术领域
本发明涉及一种最短距离获取方法及装置，更具体涉及一种基于深度相机的最短距离获取方法及装置。
背景技术
工业机器人技术的日益成熟和应用场景的不断拓展以及智能制造的大势都需要机器人***(包括机器人、末端工具以及各种传感器/检测设备)和操作人员之间在较小的工作空间内保持紧密互动，同时要保证机器人***和操作人员的安全性。这里的重点是“较小的工作空间”、“人机紧密协作”和“高度的操作安全性”。为满足这些新的需求，协作机器人应运而生。与传统工业机器人相比，协作机器人具有如下典型特征：负载小、体积小、自重轻、造型美观、在心理上对操作人员没有威胁感、即使与环境和操作人员发生碰撞也不会造成伤害。为了避免协作机器人对操作人员造成伤害，通常要对协作机器人的工作状态进行监控。当前第一类人机协作的主流方法是“关节电流监控法”。当机器人***与外界发生碰撞时，关节电流会发生突变，软件***检测到这种突变后，立即切断关节驱动器的电源，使得机器人***处于停机静止状态。但是，这种检测方法是在发生碰撞时才可以检测到，而且机器人***与外界之间的瞬时接触力可能会比较大，因此会对机器人***和环境造成伤害。进而导致的结果是，如果机器人***不与外界接触，关节电流不产生突变，机器人不可能处于停机静止状态。也就是说，即使协作机器人与操作人员、协作机器人与其它物品之间的距离很小，具备很高的伤害可能时，协作机器人也不会停机。
当前进行协作机器人与其它进入协作机器人工作范围内的外物的间距探测时使用的方法是，在协作机器人上安装视觉探测器，然后利用视觉探测器识别出协作机器人与外物之间的间距。
但是，现有技术中将深度视觉探头将深度相机放在机器人本体上，在进行举例探测时需要经过复杂的坐标转换，在转换过程中会产生误差，进而导致深度相机最短距离识别不够准确的问题。
发明内容
本发明所要解决的技术问题在于提供了一种基于深度相机的最短距离获取方法及装置，以解决现有技术中深度相机最短距离识别不够准确的技术问题。
本发明是通过以下技术方案解决上述技术问题的：
本发明实施例提供了一种基于深度相机的最短距离获取方法，应用于最短距离探测***，所述最短距离探测***包括：设置在机器人本体之外的深度相机、以及机器人，所述方法包括：
1)、根据待转换的深度图对应的深度相机的焦距以及所述深度相机的相元尺寸，获取所述深度图中各个像素点对应的空间坐标，并将包含空间坐标的像素点的集合作为所述深度图的点云；
2)、对所述点云进行去噪处理，并获取所述点云中的采样数据；
3)、构建与所述深度图对应的机器人相同工作状态的虚拟机器人，将所述虚拟机器人对应的数据作为机器人点云；并将所述深度图的点云中除对应于所述机器人的区域之外的点云作为不包含机器人点云；
4)、根据所述不包含机器人点云，利用高斯背景建模算法，检测出所述采样数据中包含的闯入的外物；
5)根据所述机器人点云和各个所述闯入的外物的点云，计算所述机器人与所述闯入的外物之间的距离，并获取所述机器人与所述闯入的外物之间的最短距离。
可选的，所述步骤1)，包括：
获取待转换的深度图对应的深度相机的横坐标方向的归一化焦距，以及所述深度相机的纵坐标方向的归一化焦距、所述深度相机内参矩阵图像的横坐标以及所述深度相机内参矩阵图像的纵坐标；
利用公式，计算所述深度图中各个像素点的空间坐标，其中，
Z为各个像素点相对于相机原点在Z轴方向上的距离；depth.ptr<ushort>(m)[n]为获取深度图像像素点坐标相对于相机原点的Z方向距离获取方法；m为深度图在横坐标方向上的像素点数；Camera_cv为深度相机内参矩阵图像的纵坐标；Camera_fy为深度相机的Y方向的归一化焦距；n为深度图在纵坐标方向上的像素点数；Camera_cu为深度相机内参矩阵图像的横坐标；Camera_fx为深度图对应的深度相机的横坐标方向的归一化焦距；Y为深度图像各个像素点相对于相机的Y方向距离；X为深度图像各个像素点相对于相机原点在X方向的距离；
将包含空间坐标的像素点的集合作为所述深度图的点云。
可选的，所述步骤2)，包括：
判断所述深度图的原点以及以所述原点为起点的设定二维区域内的像素点，是否位于以所述原点为起点的设定三维区域内；
若是，将所述像素点对应的点云作为滤波后的点云；
针对滤波后的点云中的每一个点云，利用公式，
计算所述点云和所述点云的邻近点云的平均距离，所述点云和所述点云的邻近点云的方差，其中，
d为所述点云和所述点云的邻近点云的平均距离，并且距离d服从均值为μ和方差为σ的高斯分布函数f(d)；n为所述点云以及所述点云的邻近点云的集合中包含的点云的数量；x为所述点云相对于相机原点的X方向正负距离；y为所述点云相对于相机原点Y方向距离；z为所述点云的相对于相机原点的Z方向距离；xi为所述点云的邻近点云的相对于相机原点X方向距离；yi为所述点云的邻近点云相对于相机原点Y方向距离；zi为所述点云的邻近点云的相对于相机原点在Z轴方向上的距离；f(d)为高斯分布函数；σ为高斯分布的方差；μ为高斯分布对应的平均值；
判断所述点云和所述点云的邻近点云的平均距离、方差是否在设定为数值范围内；
若是，将位于所述数值范围内的点云作为去噪后的点云；
利用八叉树算法对去噪后的点云的集合进行采样处理，获取所述点云中的采样数据。
可选的，所述步骤4)，包括：
计算设定时间段内的深度图像帧中每一个像素点的像素值均值以及像素值方差，利用所述像素值均值以及所述像素值方差识别出所述待转换的深度图中的背景模型；
针对所述待转换的深度图中包含的前景图像中的每一个像素点，将前景图像中的所述像素点作为当前像素点，根据所述背景模型，利用公式，判断所述当前像素点的像素值与所述背景模型中各像素点的像素值之间的差值是否大于预设阈值，其中，
σ为高斯分布的方差；e为自然底数；ForGroundt(x,y)为前景图像中坐标为(x，y)的像素点的像素点值；Thresh为预设阈值；BackGroundt(x,y)为背景模型中坐标为(x，y)的像素点的像素点值；
若是，将所述当前像素点的作为背景；
若否，将所述当前像素点作为前景运动目标对应的像素点；
利用公式，BackGroundt(x,y)＝k*BackGroundt-1(x,y)+(1-k)*ForGroundt(x,y)，更新所述背景模型中像素点的像素值，将所述前景图像中除所述当前像素点以外的其他像素点作为当前像素点，并返回执行所述判断所述当前像素点的像素值与所述背景模型中各像素点的像素值之间的差值是否大于预设阈值的步骤，直至所述前景图像中各个像素点都被遍历，其中，
BackGroundt(x,y)为更新后的所述背景模型中像素点的像素值；BackGroundt-1(x,y)为第t-1次更新时背景模型中坐标为(x，y)的像素点的像素点值；ForGroundt(x,y)为前景图像中坐标为(x，y)的像素点的像素点值；k为常数；
将所述前景运动目标对应的像素点构成的前景运动目标作为采样数据中包含的闯入的外物。
可选的，所述步骤5)，包括：
利用公式，计算所述机器人点云和各个所述闯入的外物的距离，其中，
distance为所述机器人点云和各个所述闯入的外物的距离；xj为所述机器人点云相对于相机原点的X方向的距离；yj为所述机器人点云相对于相机原点的Y方向的距离；zj为所述机器人点云相对于相机原点的Z方向的距离；xi为所述闯入的外物相对于相机原点的X方向距离；yi为所述闯入的外物相对于相机原点的Y方向距离；zi为所述闯入的外物相对于所预设的相机原点在Z方向的距离。
本发明实施例还提供了一种基于深度相机的最短距离获取装置，应用于最短距离探测***，所述最短距离探测***包括：设置在机器人本体之外的深度相机、以及机器人，所述装置包括：
获取模块，用于根据待转换的深度图对应的深度相机的焦距以及所述深度相机的相元尺寸，获取所述深度图中各个像素点对应的空间坐标，并将包含空间坐标的像素点的集合作为所述深度图的点云；
对所述点云进行去噪处理，并获取所述点云中的采样数据；
构建模块，用于构建与所述深度图对应的机器人相同工作状态的虚拟机器人，将所述虚拟机器人对应的数据作为机器人点云；并将所述深度图的点云中除对应于所述机器人的区域之外的点云作为不包含机器人点云；
检测模块，用于根据所述不包含机器人点云，利用高斯背景建模算法，检测出所述采样数据中包含的闯入的外物；
计算模块，用于根据所述机器人点云和各个所述闯入的外物的点云，计算所述机器人与所述闯入的外物之间的距离，并获取所述机器人与所述闯入的外物之间的最短距离。
可选的，所述获取模块，用于：
获取待转换的深度图对应的深度相机的横坐标方向的归一化焦距，以及所述深度相机的纵坐标方向的归一化焦距、所述深度相机内参矩阵图像的横坐标以及所述深度相机内参矩阵图像的纵坐标；
利用公式，计算所述深度图中各个像素点的空间坐标，其中，
Z为物体相对于相机原点的Z方向距离；depth.ptr<ushort>(m)[n]为深度图像中不同坐标对应的距离获取方法；m为深度图在横坐标方向上的像素点数；Camera_cv为深度相机内参矩阵图像的纵坐标；Camera_fy为深度相机的Y方向的归一化焦距；n为深度图在纵坐标方向上的像素点数；Camera_cu为深度相机内参矩阵图像的横坐标；Camera_fx为深度图对应的深度相机的横坐标方向的归一化焦距；Y为各个像素点在纵坐标轴上的坐标；X为各个像素点在横坐标轴上的坐标；
将包含空间坐标的像素点的集合作为所述深度图的点云。
可选的，所述获取模块，用于：
判断所述深度图的原点以及以所述原点为起点的设定二维区域内的像素点，是否位于以所述原点为起点的设定三维区域内；
若是，将所述像素点对应的点云作为滤波后的点云；
针对滤波后的点云中的每一个点云，利用公式，
计算所述点云和所述点云的邻近点云的平均距离，所述点云和所述点云的邻近点云的方差，其中，
d为所述点云和所述点云的邻近点云的平均距离；n为所述点云以及所述点云的邻近点云的集合中包含的点云的数量；x为所述点云相对于相机原点的X方向距离；y为所述点云相对于相机原点的Y方向距离；z为所述点云相对于相机原点的Z方向上距离；xi为所述点云的邻近点云相对于相机原点的X方向距离；yi为所述点云的邻近点云相对于相机原点的Y方向距离；zi为所述点云的邻近点云相对于相机原点在Z方向上的距离；f(d)为高斯分布函数；σ为高斯分布的方差；μ为高斯分布对应的平均值；
判断所述点云和所述点云的邻近点云的平均距离、方差是否在设定为数值范围内；
若是，将位于所述数值范围内的点云作为去噪后的点云；
利用八叉树算法对去噪后的点云的集合进行采样处理，获取所述点云中的采样数据。
可选的，所述检测模块，用于：
计算设定时间段内的深度图像帧中每一个像素点的像素值均值以及像素值方差，利用所述像素值均值以及所述像素值方差识别出所述待转换的深度图中的背景模型；
针对所述待转换的深度图中包含的前景图像中的每一个像素点，将前景图像中的所述像素点作为当前像素点，根据所述背景模型，利用公式，判断所述当前像素点的像素值与所述背景模型中各像素点的像素值之间的差值是否大于预设阈值，其中，
σ为高斯分布的方差；e为自然底数；ForGroundt(x,y)为前景图像中坐标为(x，y)的像素点的像素点值；Thresh为预设阈值；BackGroundt(x,y)为背景模型中坐标为(x，y)的像素点的像素点值；
若是，将所述当前像素点的作为背景；
若否，将所述当前像素点作为前景运动目标对应的像素点；
利用公式，BackGroundt(x,y)＝k*BackGroundt-1(x,y)+(1-k)*ForGroundt(x,y)，更新所述背景模型中像素点的像素值，将所述前景图像中除所述当前像素点以外的其他像素点作为当前像素点，并返回执行所述判断所述当前像素点的像素值与所述背景模型中各像素点的像素值之间的差值是否大于预设阈值的步骤，直至所述前景图像中各个像素点都被遍历，其中，
BackGroundt(x,y)为更新后的所述背景模型中像素点的像素值；BackGroundt-1(x,y)为第t-1次更新时背景模型中坐标为(x，y)的像素点的像素点值；ForGroundt(x,y)为前景图像中坐标为(x，y)的像素点的像素点值；k为常数；
将所述前景运动目标对应的像素点构成的前景运动目标作为采样数据中包含的闯入的外物。
可选的，所述计算模块，用于：
利用公式，计算所述机器人点云和各个所述闯入的外物的距离，其中，
distance为所述机器人点云和各个所述闯入的外物的距离；xj为所述机器人相对于相机原点的X方向距离；yj为所述机器人点云相对于相机原点的Y方向距离；zj为所述机器人点云相对于所预设的相机原点在Z方向的距离；xi为所述闯入的外物相对于相机原点的X方向的距离；yi为所述闯入的外物相对于相机原点的Y方向距离；zi为所述闯入的外物相对于所预设的相机原点在Z方向的距离。
本发明相比现有技术具有以下优点：
应用本发明实施例，深度相机能够检测到操作员和机器人***之间的最短距离，本申请方案的测距可以将深度相机放在远离机器人周边的任何位置，根据设计的视觉算法，分别分割出机器人本体和闯入的外物，计算出机器人与闯入外物的距离，从而得到最短距离；相对于现有技术，本发明实施例，将深度相机远离机器人本体设置，在进行距离识别时，不需要进行复杂的坐标转换，因此，可以避免产生坐标转换过程中的误差，提高了距离识别的准确性。
附图说明
图1为本发明实施例提供的一种基于深度相机的最短距离获取方法的流程示意图；
图2为本发明实施例提供的一种基于深度相机的最短距离获取装置的结构示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本发明实施例提供了一种基于深度相机的最短距离获取方法及装置，下面首先就本发明实施例提供的一种基于深度相机的最短距离获取方法进行介绍。
本发明实施例优选应用于最短距离探测***，所述最短距离探测***包括：设置在机器人本体之外的深度相机、以及机器人，
图1为本发明实施例提供的一种基于深度相机的最短距离获取方法的流程示意图，如图1所示，所述方法包括：
S101：根据待转换的深度图对应的深度相机的焦距以及所述深度相机的相元尺寸，获取所述深度图中各个像素点对应的空间坐标，并将包含空间坐标集合作为所述深度图的点云。
示例性的，可以在协作机器人工作时，通过设置在远处的深度相机对协作机器人进行拍摄。
可以获取待转换的深度图对应的深度相机的横坐标方向的归一化焦距，以及所述深度相机的纵坐标方向的归一化焦距、所述深度相机内参矩阵图像的横坐标以及所述深度相机内参矩阵图像的纵坐标；
利用公式，计算所述深度图中各个像素点的空间坐标，其中，
Z为深度图像中各个像素点相对于所预设的相机原点在Z方向的距离；depth.ptr<ushort>(m)[n]为深度图像的像素坐标对应的Z方向距离获取方法；m为深度图在横坐标方向上的像素点数；Camera_cv为深度相机内参矩阵图像的纵坐标；Camera_fy为深度相机的Y方向的归一化焦距；n为深度图在纵坐标方向上的像素点数；Camera_cu为深度相机内参矩阵图像的横坐标；Camera_fx为深度图对应的深度相机的横坐标方向的归一化焦距；Y为深度图像各个像素点相对于相机的Y方向距离；X为深度图像各个像素点相对于相机原点在X方向的距离；
将包含空间坐标的像素点的集合作为所述深度图的点云。
再利用PCL(Point Cloud Library，点云库)将XYZ空间坐标进行存储、处理、显示等操作。
可以理解的是，机器人应当设置在深度相机的拍摄距离内，而且，深度相机可以拍摄到协作机器人的机械臂的所有部分。
需要说明的是，通过测量仪器得到的产品外观表面的点数据集合也称之为点云。获取待转换的深度图对应的深度相机的横坐标方向的归一化焦距，以及所述深度相机的纵坐标方向的归一化焦距、所述深度相机内参矩阵图像的横坐标以及所述深度相机内参矩阵图像的纵坐标的过程为现有技术，这里不再赘述。
S102：对所述点云进行去噪处理，并获取所述点云中的采样数据。
示例性的，可以判断所述深度图的原点以及以所述原点为起点的设定二维区域内的像素点，是否位于以所述原点为起点的设定三维区域内；可以理解的是，设定二维区域可以是指以深度图中左下角的像素点为起点对应的设定大小的像素区域；而三维区域，是指以相机坐标原点为原点，延伸出的设定大小的三维空间。在实际应用中，原点可以是深度图中任何一点，可以根据实际需求进行调整，本发明实施例在此并不对原点的设置方法进行限定。
若是，将所述像素点对应的点云作为滤波后的点云；
针对滤波后的点云中的每一个点云，利用公式，
计算所述点云和所述点云的邻近点云的平均距离，所述点云和所述点云的邻近点云的方差，其中，
d为所述点云和所述点云的邻近点云的平均距离，并且距离d服从均值为μ和方差为σ的高斯分布函数f(d)；n为所述点云以及所述点云的邻近点云的集合中包含的点云的数量；x为所述点云相对于相机原点的X方向正负距离；y为所述点云相对于相机原点Y方向距离；z为所述点云的相对于相机原点的Z方向距离；xi为所述点云的邻近点云的相对于相机原点X方向距离；yi为所述点云的邻近点云相对于相机原点Y方向距离；zi为所述点云的邻近点云的相对于相机原点在Z轴方向上的距离；f(d)为高斯分布函数；σ为高斯分布的方差；μ为高斯分布对应的平均值；
判断所述点云和所述点云的邻近点云的平均距离、方差是否在设定为数值范围内；
若是，将位于所述数值范围内的点云作为去噪后的点云；例如，当d∈(μ-3σ,μ+3σ)时，说明该点云属于可以保留的点云。
利用八叉树算法对去噪后的点云的集合进行采样处理，获取所述点云中的采样数据。
八叉树是一种数据结构，如果不是空树，树中的任何一个节点的子节点恰好只会有八个或零个，也就是子节点不会有0与8以外的数目。由于点云的数据量很大，不利于实时计算，利用八叉树算法进行数据精简后，可以得到点云中的采样数据，然后根据这些采样数据进行距离的识别，可以提高距离识别效率。
S103：构建与所述深度图对应的机器人相同工作状态的虚拟机器人，将所述虚拟机器人对应的数据作为机器人点云。并将所述深度图的点云中除对应于所述机器人的区域之外的点云作为不包含机器人点云。
示例性的，可以通过OPENGL图像库构造出待转换的深度图所拍摄的机器人本体归为零位的相同工作状态和大小的虚拟机器人，通过实际机器人本体各个关节运动的角度和平移量，来运行虚拟机器人，再将虚拟机器人存储为机器人点云。
可以理解的是，对应于所述机器人的区域是指，由于虚拟机器人的点云与深度图的点云中机器人的点云的工作状态相同，因此，虚拟机器人与机器人的形状、姿态等均相同，因此，可以在深度图的点云中，使用虚拟机器人的机器人点云所替换的深度图点云中机器人对应的区域。待转换的深度图对应的深度图的点云中除了，虚拟机器人点云之外的其他点云的集合，可以作为不包含机器人点云。
通常情况下，工作状态包括：机器人各个部件的方向角、高度角等可以确定机器人各个部位的位置的参数。虚拟机器人的各个组件的方向角、高度角与深度图点云中机器人的方向角和高度角分别相同。
S104：根据所述不包含机器人点云，利用高斯背景建模算法，检测出所述采样数据中包含的闯入的外物。
示例性的，可以计算设定时间段内的深度图像帧中每一个像素点的像素值均值以及像素值方差，利用所述像素值均值以及所述像素值方差识别出所述待转换的深度图中的背景模型；
针对所述待转换的深度图中包含的前景图像中的每一个像素点，将前景图像中的所述像素点作为当前像素点，根据所述背景模型，利用公式，判断所述当前像素点的像素值与所述背景模型中各像素点的像素值之间的差值是否大于预设阈值，其中，
σ为高斯分布的方差；e为自然底数；ForGroundt(x,y)为前景图像中坐标为(x，y)的像素点的像素点值；Thresh为预设阈值；BackGroundt(x,y)为背景模型中坐标为(x，y)的像素点的像素点值；
若是，将所述当前像素点的作为背景；
若否，将所述当前像素点作为前景运动目标对应的像素点；
利用公式，BackGroundt(x,y)＝k*BackGroundt-1(x,y)+(1-k)*ForGroundt(x,y)，更新所述背景模型中像素点的像素值，将所述前景图像中除所述当前像素点以外的其他像素点作为当前像素点，并返回执行所述判断所述当前像素点的像素值与所述背景模型中各像素点的像素值之间的差值是否大于预设阈值的步骤，直至所述前景图像中各个像素点都被遍历，其中，
BackGroundt(x,y)为更新后的所述背景模型中像素点的像素值；BackGroundt-1(x,y)为第t-1次更新时背景模型中坐标为(x，y)的像素点的像素点值；ForGroundt(x,y)为前景图像中坐标为(x，y)的像素点的像素点值；k为常数；
将所述前景运动目标对应的像素点构成的前景运动目标作为采样数据中包含的闯入的外物。
S105：根据所述机器人点云和各个所述闯入的外物的点云，计算所述机器人与所述闯入的外物之间的距离，并获取所述机器人与所述闯入的外物之间的最短距离。
示例性的，可以利用公式，计算所述机器人点云和各个所述闯入的外物的距离，其中，
distance为所述机器人点云和各个所述闯入的外物的距离；xj为所述机器人点云相对于相机原点的X方向距离；yj为所述机器人点云相对于相机原点的Y方向距离；zj为所述机器人点云在Z轴方向上的距离；xi为所述闯入的外物相对于相机原点的X方向距离；yi为所述闯入的外物相对于相机原点的Y方向距离；zi为所述闯入的外物相对于相机原点在Z方向轴上的距离。
另外，在实际应用中，现有技术将深度相机放在机器人本体上，只能得到机器人的一个方向距离，而且，多数情况下可能还不是最短的距离，会对机器人根据距离降速产生极大的影响。本发明实施例中，可以根据本发明实施例识别出的机器人与外物之间的距离进行机器人运动速度的控制，例如，可以在距离较大时，使机器人以较高的速度运动，在距离较小时，使机器人以较小的速度运动。在机器人从距离较远的位置朝向距离较近的位置进行运动时，可以使机器人的运动速度呈线性、指数性或者抛物线性的递减，进而可以在保证安全性的条件下，提升机器人的工作效率。
应用本发明上述实施例，由于在深度图中直接分割机器人点云会产生机器人点云与背景点云之间的边界模糊问题，而使用虚拟机器人的点云替换深度图的点云中的机器人对应的区域，进而根据虚拟机器人的点云与外物之间的距离进行最短距离的识别，避免了边界模糊的问题，可以提高最短距离识别的准确性。
应用本发明图1所示实施例，应用本发明实施例，深度相机能够检测到操作员和机器人***之间的最短距离，本申请方案的测距可以将深度相机放在远离机器人周边的任何位置，根据设计的视觉算法，分别分割出机器人本体和闯入的外物，计算出机器人与闯入外物的距离，从而得到最短距离；相对于现有技术，本发明实施例，将深度相机远离机器人本体设置，在进行距离识别时，不需要进行复杂的坐标转换，因此，可以避免产生坐标转换过程中的误差，提高了距离识别的准确性。应用本发明实施例，相对于现有技术避免了复杂的坐标转换，提高了距离识别效率。
另外，现有技术中有的机器人采用声波测距和激光测距，这种方式成本太高，不利于推广，应用本发明实施例，可以降低最短距离识别的成本，利于推广。在实际应用中，可以围绕机器人在相对于机器人的多个方向上设置多个深度相机，使用本发明实施例的算法进行机器人相对于周围闯入的外物之间的距离的识别，进而获取机器人相对于闯入的外物之间的最短距离，进而提高最短距离识别的全面性，可以进一步提高机器人运行的安全性。
另外，以及当外物和机器人间的最短距离小于一定的阈值时，机器人停止任何动作，大于阈值时，机器人开始运行，提升了安全性。
与本发明图1所示实施例相对应，本发明实施例还提供了一种基于深度相机的最短距离获取装置。
图2为本发明实施例提供的一种基于深度相机的最短距离获取装置的结构示意图，如图2所示，应用于最短距离探测***，所述最短距离探测***包括：设置在机器人本体之外的深度相机、以及机器人，所述装置包括：
获取模块201，用于根据待转换的深度图对应的深度相机的焦距以及所述深度相机的相元尺寸，获取所述深度图中各个像素点对应的空间坐标，并将包含空间坐标的像素点的集合作为所述深度图的点云；
对所述点云进行去噪处理，并获取所述点云中的采样数据；
构建模块202，用于构建与所述深度图对应的机器人相同工作状态的虚拟机器人，将所述虚拟机器人对应的数据作为机器人点云；并将所述深度图的点云中除对应于所述机器人的区域之外的点云作为不包含机器人点云；
检测模块203，用于根据所述不包含机器人点云，利用高斯背景建模算法，检测出所述采样数据中包含的闯入的外物；
计算模块204，用于根据所述机器人点云和各个所述闯入的外物的点云，计算所述机器人与所述闯入的外物之间的距离，并获取所述机器人与所述闯入的外物之间的最短距离。
应用本发明图2所示实施例，应用本发明实施例，深度相机能够检测到操作员和机器人***之间的最短距离，本申请方案的测距可以将深度相机放在远离机器人周边的任何位置，根据设计的视觉算法，分别分割出机器人本体和闯入的外物，计算出机器人与闯入外物的距离，从而得到最短距离；相对于现有技术，本发明实施例，将深度相机远离机器人本体设置，在进行距离识别时，不需要进行复杂的坐标转换，因此，可以避免产生坐标转换过程中的误差，提高了距离识别的准确性。
在本发明实施例的一种具体实施方式中，所述获取模块201，用于：
获取待转换的深度图对应的深度相机的横坐标方向的归一化焦距，以及所述深度相机的纵坐标方向的归一化焦距、所述深度相机内参矩阵图像的横坐标以及所述深度相机内参矩阵图像的纵坐标；
利用公式，计算所述深度图中各个像素点的空间坐标，其中，
Z为深度图像中各个像素点相对于所预设的相机原点在Z方向的距离；depth.ptr<ushort>(m)[n]为根据深度图像素点坐标获取的Z方向距离的方法；m为深度图在横坐标方向上的像素点数；Camera_cv为深度相机内参矩阵图像的纵坐标；Camera_fy为深度相机的Y方向的归一化焦距；n为深度图在纵坐标方向上的像素点数；Camera_cu为深度相机内参矩阵图像的横坐标；Camera_fx为深度图对应的深度相机的横坐标方向的归一化焦距；Y为各个像素点相对于相机原点在Y方向的距离；X为各个像素点相对于相机原点在X方向上的距离；
将包含空间坐标的像素点的集合作为所述深度图的点云。
在本发明实施例的一种具体实施方式中，所述获取模块201，用于：
判断所述深度图的原点以及以所述原点为起点的设定二维区域内的像素点，是否位于以所述原点为起点的设定三维区域内；
若是，将所述像素点对应的点云作为滤波后的点云；
针对滤波后的点云中的每一个点云，利用公式，
计算所述点云和所述点云的邻近点云的平均距离，所述点云和所述点云的邻近点云的方差，其中，
d为所述点云和所述点云的邻近点云的平均距离；n为所述点云以及所述点云的邻近点云的集合中包含的点云的数量；x为所述点云相对于相机原点的X方向距离；y为所述点云相对于相机原点的Y方向距离；z为所述点云相对于相机原点在Z轴方向上的距离；xi为所述点云的邻近点云相对于相机原点的X方向的距离；yi为所述点云的邻近点云相对于相机原点的Y方向距离；zi为所述点云的邻近点云相对于相机原点在Z轴方向上的距离；f(d)为高斯分布函数；σ为高斯分布的方差；μ为高斯分布对应的平均值；
判断所述点云和所述点云的邻近点云的平均距离、方差是否在设定为数值范围内；
若是，将位于所述数值范围内的点云作为去噪后的点云；
利用八叉树算法对去噪后的点云的集合进行采样处理，获取所述点云中的采样数据。
在本发明实施例的一种具体实施方式中，所述检测模块203，用于：
计算设定时间段内的深度图像帧中每一个像素点的像素值均值以及像素值方差，利用所述像素值均值以及所述像素值方差识别出所述待转换的深度图中的背景模型；
针对所述待转换的深度图中包含的前景图像中的每一个像素点，将前景图像中的所述像素点作为当前像素点，根据所述背景模型，利用公式，判断所述当前像素点的像素值与所述背景模型中各像素点的像素值之间的差值是否大于预设阈值，其中，
σ为高斯分布的方差；e为自然底数；ForGroundt(x,y)为前景图像中坐标为(x，y)的像素点的像素点值；Thresh为预设阈值；BackGroundt(x,y)为背景模型中坐标为(x，y)的像素点的像素点值；
若是，将所述当前像素点的作为背景；
若否，将所述当前像素点作为前景运动目标对应的像素点；
利用公式，BackGroundt(x,y)＝k*BackGroundt-1(x,y)+(1-k)*ForGroundt(x,y)，更新所述背景模型中像素点的像素值，将所述前景图像中除所述当前像素点以外的其他像素点作为当前像素点，并返回执行所述判断所述当前像素点的像素值与所述背景模型中各像素点的像素值之间的差值是否大于预设阈值的步骤，直至所述前景图像中各个像素点都被遍历，其中，
BackGroundt(x,y)为更新后的所述背景模型中像素点的像素值；BackGroundt-1(x,y)为第t-1次更新时背景模型中坐标为(x，y)的像素点的像素点值；ForGroundt(x,y)为前景图像中坐标为(x，y)的像素点的像素点值；k为常数；
将所述前景运动目标对应的像素点构成的前景运动目标作为采样数据中包含的闯入的外物。
在本发明实施例的一种具体实施方式中，所述计算模块204，用于：
利用公式，计算所述机器人点云和各个所述闯入的外物的距离，其中，
distance为所述机器人点云和各个所述闯入的外物的距离；xj为所述机器人点云相对于相机原点的X方向距离；yj为所述机器人点云相对于相机原点的Y方向距离；zj为所述机器人点云相对于相机远点在Z轴方向上的距离；xi为所述闯入的外物的相对于相机原点的X方向的距离；yi为所述闯入的外物相对于相机原点的Y方向距离；zi为所述闯入的外物的相对于相机原点在Z轴方向上的距离。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度相机的最短距离获取方法，其特征在于，应用于最短距离探测***，所述最短距离探测***包括：设置在机器人本体之外的深度相机、以及机器人，所述方法包括：
1)、根据待转换的深度图对应的深度相机的焦距以及所述深度相机的相元尺寸，获取所述深度图中各个像素点对应的空间坐标，并将包含空间坐标的像素点的集合作为所述深度图的点云；
2)、对所述点云进行去噪处理，并获取所述点云中的采样数据；
3)、构建与所述深度图对应的机器人相同工作状态的虚拟机器人，将所述虚拟机器人对应的数据作为机器人点云；并将所述深度图的点云中除对应于所述机器人的区域之外的点云作为不包含机器人点云；
4)、根据所述不包含机器人点云，利用高斯背景建模算法，检测出所述采样数据中包含的闯入的外物；
5)根据所述机器人点云和各个所述闯入的外物的点云，计算所述机器人与所述闯入的外物之间的距离，并获取所述机器人与所述闯入的外物之间的最短距离。
2.根据权利要求1所述的一种基于深度相机的最短距离获取方法，其特征在于，所述步骤1)，包括：
获取待转换的深度图对应的深度相机的横坐标方向的归一化焦距，以及所述深度相机的纵坐标方向的归一化焦距、所述深度相机内参矩阵图像的横坐标以及所述深度相机内参矩阵图像的纵坐标；
利用公式，计算所述深度图中各个像素点的空间坐标，其中，
Z为深度图像中各个像素点相对于所预设的相机原点在Z方向的距离；depth.ptr<ushort>(m)[n]为深度图像的像素坐标对应的Z方向距离获取方法；m为深度图在横坐标方向上的像素点数；Camera_cv为深度相机内参矩阵图像的纵坐标；Camera_fy为深度相机的Y方向的归一化焦距；n为深度图在纵坐标方向上的像素点数；Camera_cu为深度相机内参矩阵图像的横坐标；Camera_fx为深度图对应的深度相机的横坐标方向的归一化焦距；Y为深度图像各个像素点相对于相机的Y方向距离；X为深度图像各个像素点相对于相机原点在X方向的距离；
将包含空间坐标的像素点的集合作为所述深度图的点云。
3.根据权利要求1所述的一种基于深度相机的最短距离获取方法，其特征在于，所述步骤2)，包括：
判断所述深度图的原点以及以所述原点为起点的设定二维区域内的像素点，是否位于以所述原点为起点的设定三维区域内；
若是，将所述像素点对应的点云作为滤波后的点云；
针对滤波后的点云中的每一个点云，利用公式，
计算所述点云和所述点云的邻近点云的平均距离，所述点云和所述点云的邻近点云的方差，其中，
d为所述点云和所述点云的邻近点云的平均距离；n为所述点云以及所述点云的邻近点云的集合中包含的点云的数量；x为所述点云相对于相机原点的X方向正负距离；y为所述点云相对于相机原点Y方向距离；z为所述点云的相对于相机原点的Z方向距离；xi为所述点云的邻近点云的相对于相机原点X方向距离；yi为所述点云的邻近点云相对于相机原点Y方向距离；zi为所述点云的邻近点云的相对于相机原点在Z轴方向上的距离；f(d)为高斯分布函数；σ为高斯分布的方差；μ为高斯分布对应的平均值；
判断所述点云和所述点云的邻近点云的平均距离、方差是否在设定为数值范围内；
若是，将位于所述数值范围内的点云作为去噪后的点云；
利用八叉树算法对去噪后的点云的集合进行采样处理，获取所述点云中的采样数据。
4.根据权利要求1所述的一种基于深度相机的最短距离获取方法，其特征在于，所述步骤4)，包括：
计算设定时间段内的深度图像帧中每一个像素点的像素值均值以及像素值方差，利用所述像素值均值以及所述像素值方差识别出所述待转换的深度图中的背景模型；
针对所述待转换的深度图中包含的前景图像中的每一个像素点，将前景图像中的所述像素点作为当前像素点，根据所述背景模型，利用公式，判断所述当前像素点的像素值与所述背景模型中各像素点的像素值之间的差值是否大于预设阈值，其中，
σ为高斯分布的方差；e为自然底数；ForGroundt(x,y)为前景图像中坐标为(x，y)的像素点的像素点值；Thresh为预设阈值；BackGroundt(x,y)为背景模型中坐标为(x，y)的像素点的像素点值；
若是，将所述当前像素点的作为背景；
若否，将所述当前像素点作为前景运动目标对应的像素点；
利用公式，BackGroundt(x,y)＝k*BackGroundt-1(x,y)+(1-k)*ForGroundt(x,y)，更新所述背景模型中像素点的像素值，将所述前景图像中除所述当前像素点以外的其他像素点作为当前像素点，并返回执行所述判断所述当前像素点的像素值与所述背景模型中各像素点的像素值之间的差值是否大于预设阈值的步骤，直至所述前景图像中各个像素点都被遍历，其中，
BackGroundt(x,y)为更新后的所述背景模型中像素点的像素值；BackGroundt-1(x,y)为第t-1次更新时背景模型中坐标为(x，y)的像素点的像素点值；ForGroundt(x,y)为前景图像中坐标为(x，y)的像素点的像素点值；k为常数；
将所述前景运动目标对应的像素点构成的前景运动目标作为采样数据中包含的闯入的外物。
5.根据权利要求1所述的一种基于深度相机的最短距离获取方法，其特征在于，所述步骤5)，包括：
利用公式，计算所述机器人点云和各个所述闯入的外物的距离，其中，
distance为所述机器人点云和各个所述闯入的外物的距离；xj为所述机器人点云相对于相机原点的X方向距离；yj为所述机器人点云相对于相机原点的Y方向距离；zj为所述机器人点云在Z轴方向上的距离；xi为所述闯入的外物相对于相机原点的X方向距离；yi为所述闯入的外物相对于相机原点的Y方向距离；zi为所述闯入的外物相对于相机原点在Z方向轴上的距离。
6.一种基于深度相机的最短距离获取装置，其特征在于，应用于最短距离探测***，所述最短距离探测***包括：设置在机器人本体之外的深度相机、以及机器人，所述装置包括：
获取模块，用于根据待转换的深度图对应的深度相机的焦距以及所述深度相机的相元尺寸，获取所述深度图中各个像素点对应的空间坐标，并将包含空间坐标的像素点的集合作为所述深度图的点云；
对所述点云进行去噪处理，并获取所述点云中的采样数据；
构建模块，用于构建与所述深度图对应的机器人相同工作状态的虚拟机器人，将所述虚拟机器人对应的数据作为机器人点云；并将所述深度图的点云中除对应于所述机器人的区域之外的点云作为不包含机器人点云；
检测模块，用于根据所述不包含机器人点云，利用高斯背景建模算法，检测出所述采样数据中包含的闯入的外物；
计算模块，用于根据所述机器人点云和各个所述闯入的外物的点云，计算所述机器人与所述闯入的外物之间的距离，并获取所述机器人与所述闯入的外物之间的最短距离。
7.根据权利要求6所述的一种基于深度相机的最短距离获取装置，其特征在于，所述获取模块，用于：
获取待转换的深度图对应的深度相机的横坐标方向的归一化焦距，以及所述深度相机的纵坐标方向的归一化焦距、所述深度相机内参矩阵图像的横坐标以及所述深度相机内参矩阵图像的纵坐标；
利用公式，计算所述深度图中各个像素点的空间坐标，其中，
Z为深度图像中各个像素点相对于所预设的相机原点在Z方向的距离；depth.ptr<ushort>(m)[n]为深度图像的像素坐标对应的Z方向距离获取方法；m为深度图在横坐标方向上的像素点数；Camera_cv为深度相机内参矩阵图像的纵坐标；Camera_fy为深度相机的Y方向的归一化焦距；n为深度图在纵坐标方向上的像素点数；Camera_cu为深度相机内参矩阵图像的横坐标；Camera_fx为深度图对应的深度相机的横坐标方向的归一化焦距；Y为深度图像各个像素点相对于相机的Y方向距离；X为深度图像各个像素点相对于相机原点在X方向的距离；
将包含空间坐标的像素点的集合作为所述深度图的点云。
8.根据权利要求6所述的一种基于深度相机的最短距离获取装置，其特征在于，所述获取模块，用于：
判断所述深度图的原点以及以所述原点为起点的设定二维区域内的像素点，是否位于以所述原点为起点的设定三维区域内；
若是，将所述像素点对应的点云作为滤波后的点云；
针对滤波后的点云中的每一个点云，利用公式，
计算所述点云和所述点云的邻近点云的平均距离，所述点云和所述点云的邻近点云的方差，其中，
d为所述点云和所述点云的邻近点云的平均距离；n为所述点云以及所述点云的邻近点云的集合中包含的点云的数量；x为所述点云相对于相机原点的X方向正负距离；y为所述点云相对于相机原点Y方向距离；z为所述点云的相对于相机原点的Z方向距离；xi为所述点云的邻近点云的相对于相机原点X方向距离；yi为所述点云的邻近点云相对于相机原点Y方向距离；zi为所述点云的邻近点云的相对于相机原点在Z轴方向上的距离；f(d)为高斯分布函数；σ为高斯分布的方差；μ为高斯分布对应的平均值；
判断所述点云和所述点云的邻近点云的平均距离、方差是否在设定为数值范围内；
若是，将位于所述数值范围内的点云作为去噪后的点云；
利用八叉树算法对去噪后的点云的集合进行采样处理，获取所述点云中的采样数据。
9.根据权利要求6所述的一种基于深度相机的最短距离获取装置，其特征在于，所述检测模块，用于：
计算设定时间段内的深度图像帧中每一个像素点的像素值均值以及像素值方差，利用所述像素值均值以及所述像素值方差识别出所述待转换的深度图中的背景模型；
针对所述待转换的深度图中包含的前景图像中的每一个像素点，将前景图像中的所述像素点作为当前像素点，根据所述背景模型，利用公式，判断所述当前像素点的像素值与所述背景模型中各像素点的像素值之间的差值是否大于预设阈值，其中，
σ为高斯分布的方差；e为自然底数；ForGroundt(x,y)为前景图像中坐标为(x，y)的像素点的像素点值；Thresh为预设阈值；BackGroundt(x,y)为背景模型中坐标为(x，y)的像素点的像素点值；
若是，将所述当前像素点的作为背景；
若否，将所述当前像素点作为前景运动目标对应的像素点；
利用公式，BackGroundt(x,y)＝k*BackGroundt-1(x,y)+(1-k)*ForGroundt(x,y)，更新所述背景模型中像素点的像素值，将所述前景图像中除所述当前像素点以外的其他像素点作为当前像素点，并返回执行所述判断所述当前像素点的像素值与所述背景模型中各像素点的像素值之间的差值是否大于预设阈值的步骤，直至所述前景图像中各个像素点都被遍历，其中，
BackGroundt(x,y)为更新后的所述背景模型中像素点的像素值；BackGroundt-1(x,y)为第t-1次更新时背景模型中坐标为(x，y)的像素点的像素点值；ForGroundt(x,y)为前景图像中坐标为(x，y)的像素点的像素点值；k为常数；
将所述前景运动目标对应的像素点构成的前景运动目标作为采样数据中包含的闯入的外物。
10.根据权利要求6所述的一种基于深度相机的最短距离获取装置，其特征在于，所述计算模块，用于：
利用公式，计算所述机器人点云和各个所述闯入的外物的距离，其中，
distance为所述机器人点云和各个所述闯入的外物的距离；xj为所述机器人点云相对于相机原点的X方向距离；yj为所述机器人点云相对于相机原点的Y方向距离；zj为所述机器人点云在Z轴方向上的距离；xi为所述闯入的外物相对于相机原点的X方向距离；yi为所述闯入的外物相对于相机原点的Y方向距离；zi为所述闯入的外物相对于相机原点在Z方向轴上的距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910073414.XA CN109872355B (zh) | 2019-01-25 | 2019-01-25 | 一种基于深度相机的最短距离获取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910073414.XA CN109872355B (zh) | 2019-01-25 | 2019-01-25 | 一种基于深度相机的最短距离获取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109872355A true CN109872355A (zh) | 2019-06-11 |
| CN109872355B CN109872355B (zh) | 2022-12-02 |
Family
ID=66918054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910073414.XA Active CN109872355B (zh) | 2019-01-25 | 2019-01-25 | 一种基于深度相机的最短距离获取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109872355B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353409A (zh) * | 2020-02-25 | 2020-06-30 | 深圳前海达闼云端智能科技有限公司 | 容器识别方法、装置和机器人 |
| CN112116643A (zh) * | 2020-09-14 | 2020-12-22 | 哈工大机器人（合肥）国际创新研究院 | 一种基于tof相机深度图和点云图的避障处理方法及*** |
| CN113436242A (zh) * | 2021-07-22 | 2021-09-24 | 西安电子科技大学 | 基于移动深度相机的获取静态物体高精度深度值方法 |
| CN114783172A (zh) * | 2021-01-22 | 2022-07-22 | 广州汽车集团股份有限公司 | 一种停车场空车位识别方法及***、计算机可读存储介质 |
| CN115908338B (zh) * | 2022-11-29 | 2023-08-29 | 北京数字绿土科技股份有限公司 | 基于三维点云的电力设施与入侵物距离检测方法和*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780592A (zh) * | 2016-06-30 | 2017-05-31 | 华南理工大学 | 基于相机运动和图像明暗的Kinect深度重建算法 |
| US20180181803A1 (en) * | 2016-12-27 | 2018-06-28 | Shenzhen University | Pedestrian head identification method and system |
| CN109255813A (zh) * | 2018-09-06 | 2019-01-22 | 大连理工大学 | 一种面向人机协作的手持物***姿实时检测方法 |
-
2019
- 2019-01-25 CN CN201910073414.XA patent/CN109872355B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780592A (zh) * | 2016-06-30 | 2017-05-31 | 华南理工大学 | 基于相机运动和图像明暗的Kinect深度重建算法 |
| US20180181803A1 (en) * | 2016-12-27 | 2018-06-28 | Shenzhen University | Pedestrian head identification method and system |
| CN109255813A (zh) * | 2018-09-06 | 2019-01-22 | 大连理工大学 | 一种面向人机协作的手持物***姿实时检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杜廷伟等: "基于高斯混合模型聚类的Kinect深度数据分割", 《计算机应用与软件》 * |
| 薛连杰等: "基于3维点云欧氏聚类和RANSAC边界拟合的目标物体尺寸和方位识别", 《机械设计与研究》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353409A (zh) * | 2020-02-25 | 2020-06-30 | 深圳前海达闼云端智能科技有限公司 | 容器识别方法、装置和机器人 |
| CN111353409B (zh) * | 2020-02-25 | 2023-05-02 | 达闼机器人股份有限公司 | 容器识别方法、装置和机器人 |
| CN112116643A (zh) * | 2020-09-14 | 2020-12-22 | 哈工大机器人（合肥）国际创新研究院 | 一种基于tof相机深度图和点云图的避障处理方法及*** |
| CN114783172A (zh) * | 2021-01-22 | 2022-07-22 | 广州汽车集团股份有限公司 | 一种停车场空车位识别方法及***、计算机可读存储介质 |
| CN114783172B (zh) * | 2021-01-22 | 2024-05-17 | 广州汽车集团股份有限公司 | 一种停车场空车位识别方法及***、计算机可读存储介质 |
| CN113436242A (zh) * | 2021-07-22 | 2021-09-24 | 西安电子科技大学 | 基于移动深度相机的获取静态物体高精度深度值方法 |
| CN113436242B (zh) * | 2021-07-22 | 2024-03-29 | 西安电子科技大学 | 基于移动深度相机的获取静态物体高精度深度值方法 |
| CN115908338B (zh) * | 2022-11-29 | 2023-08-29 | 北京数字绿土科技股份有限公司 | 基于三维点云的电力设施与入侵物距离检测方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109872355B (zh) | 2022-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109872355A (zh) | 一种基于深度相机的最短距离获取方法及装置 | |
| CN112476434B (zh) | 一种基于协作机器人的视觉3d取放方法及*** | |
| CN110070615B (zh) | 一种基于多相机协同的全景视觉slam方法 | |
| CN111325843B (zh) | 一种基于语义逆深度滤波的实时语义地图构建方法 | |
| CN109255813B (zh) | 一种面向人机协作的手持物***姿实时检测方法 | |
| CN105335696B (zh) | 一种基于3d异常步态行为检测识别的智能助老机器人及实现方法 | |
| CN113436260B (zh) | 基于多传感器紧耦合的移动机器人位姿估计方法和*** | |
| CN106949936B (zh) | 利用双目视觉位移监测***分析输电塔结构模态的方法 | |
| JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
| JP2018119833A (ja) | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 | |
| CN111476841A (zh) | 一种基于点云和图像的识别定位方法及*** | |
| CN111552292B (zh) | 基于视觉的移动机器人路径生成与动态目标跟踪方法 | |
| Luo et al. | Multisensor integrated stair recognition and parameters measurement system for dynamic stair climbing robots | |
| Hu et al. | Real-time monocular three-dimensional motion tracking using a multithread active vision system | |
| CN113888715A (zh) | 一种基于虚拟多目内窥镜的高炉料面三维重建方法及*** | |
| CN113536959A (zh) | 一种基于立体视觉的动态障碍物检测方法 | |
| Sheng et al. | Mobile robot localization and map building based on laser ranging and PTAM | |
| CN112070005A (zh) | 一种三维基元数据的提取方法及装置、存储介质 | |
| Park et al. | 3D log recognition and pose estimation for robotic forestry machine | |
| Kim et al. | Structured light camera base 3D visual perception and tracking application system with robot grasping task | |
| CN115862074A (zh) | 人体指向确定、屏幕控制方法、装置及相关设备 | |
| CN114359403A (zh) | 一种基于非完整性蘑菇图像的三维空间视觉定位方法、***及装置 | |
| Zhang et al. | Object detection and grabbing based on machine vision for service robot | |
| Shi et al. | Pose Measurement of Excavator Based on Convolutional Neural Network | |
| Gu et al. | Research on static vision-based target localization for astronaut assistant robots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200928 Address after: 230000 Room 501, building 3, intelligent equipment science and Technology Park, 3963 Susong Road, Hefei Economic and Technological Development Zone, Anhui Province Applicant after: Hefei Hagong Renji Intelligent Technology Co.,Ltd. Address before: 236000 Anhui city of Hefei Province Economic and Technological Development Zone Cuiwei Road No. 6 Haiheng building room 6012 Applicant before: HRG INTERNATIONAL INSTITUTE FOR RESEARCH & INNOVATION |
|
| TA01 | Transfer of patent application right | ||
| CB02 | Change of applicant information |
Address after: 230000 room 510, building 3, intelligent equipment science and Technology Park, 3963 Susong Road, Hefei Economic and Technological Development Zone, Anhui Province Applicant after: Hefei Hagong Renji Intelligent Technology Co.,Ltd. Address before: 230000 Room 501, building 3, intelligent equipment science and Technology Park, 3963 Susong Road, Hefei Economic and Technological Development Zone, Anhui Province Applicant before: Hefei Hagong Renji Intelligent Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |