CN114494156B - 一种物***姿估计和物理属性协同估计方法 - Google Patents
一种物***姿估计和物理属性协同估计方法 Download PDFInfo
- Publication number
- CN114494156B CN114494156B CN202210000263.7A CN202210000263A CN114494156B CN 114494156 B CN114494156 B CN 114494156B CN 202210000263 A CN202210000263 A CN 202210000263A CN 114494156 B CN114494156 B CN 114494156B
- Authority
- CN
- China
- Prior art keywords
- estimated
- image
- multispectral
- material type
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000000704 physical effect Effects 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 239000000463 material Substances 0.000 claims description 88
- 230000003595 spectral effect Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 22
- 238000001228 spectrum Methods 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000013135 deep learning Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 abstract description 13
- 230000002452 interceptive effect Effects 0.000 abstract description 5
- 239000011521 glass Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000190070 Sarracenia purpurea Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003655 tactile properties Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种物***姿估计和物理属性协同估计方法,通过在物***姿估计的同时,获得物体的物理属性,以获得更多的交互先验信息,提高交互的准确性和稳定性。在进行机器人交互时,使用普通相机和多光谱相机同时拍摄待估计物体,对于物***姿估计,从单张视觉图像中估计物体六自由度位姿,对于物体的物理属性估计,融合视觉信息和多光谱信息以获得待估计物体的物理属性。本发明可以在物***姿估计的同时,可以同时获得物体的物理属性,以获得更多的交互先验信息,提高交互的准确性和稳定性。
Description
技术领域
本发明属于计算机视觉技术领域,具体涉及一种物***姿估计和物理属性协同估计方法。
背景技术
基于视觉的物***姿估计与物理属性协同估计在机器人抓取应用中扮演着非常重要的角色。基于视觉的方法进行物***姿估计是指从图像中获得目标物体相对于相机的位置和姿态,通常是平移距离和旋转角度。物体的物理属性估计是指估计目标物体的材料或者材质属性,比如塑料、金属、木头、玻璃等。材料的属性会有不同的视觉属性,比如光泽度或者透明度以及物体可能的触觉属性,比如硬度或者粗糙度。物体的物理属性估计在生活中具有广泛的应用前景,可以为人机交互***提供详细的材质信息,这些在日常生活中的出现的物体的制作材料决定了我们与这些物体进行交互时应注意的问题,比如在清理一个玻璃或者陶瓷水杯时,注意不能掉在地上,否则杯子将会被打碎,玻璃通常时光滑的,当我们操作时,我们应该用合适的方式操作它。
面向机器人交互应用中,比如机器人抓取操作中,首先需要估计待抓取物体的六自由度位姿,然后规划机器臂以及末端执行器进行抓取操作。因此在抓取之前提前知道物体的物理属性非常重要,比如提供先验的抓取力度,提供比较好的先验知识来更加准确和稳定的与物体进行交互。
在抓取物体的同时使用触觉传感器,在抓取的过程中实时采集触觉传感器压力信息,建立起压力和电压的关系,由采集到的电压信号可转换得到物体的抓取力信息,保证抓取的稳定性。对于物体的属性识别,通常可以使用X射线对物体进行照射获得X射线图像,然后使用图像处理方法来判断X射线图像中物体的具体材质。另外可以使用多传感器信息融合的方法进行物体的材质识别,比如红外传感器、雷达传感器、激光传感器等像物体主动发射信号,然后接收反射信号,通过对接收的反射信号进行处理,最终获得物体物理属性。
面向机器人抓取交互的场景中,需要估计待抓取物体的六自由度位姿以及抓取的力度,这样才能保证抓取的准确和稳定。
通常可以用图像传感器获得视觉图像进行物体属性分类,但是对于外观非常相似的物体,有时单纯用视觉图像时无法区分的,比如透明的塑杯和透明的玻璃杯。
现有的获得物体属性的方法通常采用主动传感器,比如雷达、激光、X光等方法来获得物体的信息,然后通过后对返回的信号处理来获得物体的物理属性,这些设备通常是庞大而昂贵的,因此不适合在机器人交互时使用。在获取待抓取物体的抓取力的时候,现有方法使用触觉传感器,在交互的时候获取抓取力,以便稳定的抓取物体,但是这种方法需要在抓取的时候同时获得抓取物体的力度,提前未知抓取力的时候,需要不断的调整,不利于寻找到最合适的抓取力度,降低了抓取时的稳定性。
发明内容
为了克服现有技术的不足,本发明提供了一种物***姿估计和物理属性协同估计方法,通过在物***姿估计的同时,获得物体的物理属性,以获得更多的交互先验信息,提高交互的准确性和稳定性。在进行机器人交互时,使用普通相机和多光谱相机同时拍摄待估计物体,对于物***姿估计,从单张视觉图像中估计物体六自由度位姿,对于物体的物理属性估计,融合视觉信息和多光谱信息以获得待估计物体的物理属性。本发明可以在物***姿估计的同时,可以同时获得物体的物理属性,以获得更多的交互先验信息,提高交互的准确性和稳定性。
本发明解决其技术问题所采用的技术方案包括如下步骤:
步骤1:设定物体的材质种类数量为N;
步骤2:建立多光谱图像特征数据库;
步骤2-1:使用多光谱相机采集所有材质种类的标准多光谱图像,每一种物体材质种类采集t个多光谱图像;多光谱相机采集图像的光谱波长数量为B;
步骤2-2:使用深度学习神经网络对采集到的多光谱图像按照不同的光谱波长分别进行特征提取,获得第i种材质种类的第b个波长光谱图像特征 其中/>表示第i种材质种类的第b个波长第t个光谱图像的特征,b=1,2,…,B,i=1,2,…,N;
步骤2-3:将物体的材质种类和步骤2-2获取的所有光谱图像特征组成多光谱图像特征数据库,数据库中每一个光谱图像特征对应一个材质种类;
步骤3:使用普通视觉相机和多光谱相机对待估计物体进行拍摄,分别得到待估计物体的RGB图像和多光谱图像;
步骤4:计算待估计物体的多光谱图像材质种类识别概率;
步骤4-1:使用步骤2-2的深度学习神经网络对待估计物体的多光谱图像进行特征提取,获得待估计物体的多光谱图像特征;
步骤4-2:计算待估计物体的第b个波长的多光谱图像特征与多光谱图像特征数据库中第i种材质种类第b个波长的t个光谱图像特征间的距离,能够得到t个距离值,取t个距离值的均值表示待估计物体的多光谱图像中第b个波长的多光谱图像特征与多光谱图像特征数据库中第i种材质种类的第b个波长的光谱图像特征的平均距离值sb;
步骤4-3:重复步骤4-2,计算待估计物体的第1个到第B个波长的多光谱图像特征与多光谱图像特征数据库中第i种材质种类的第1个到第B个波长的光谱图像特征的平均距离值s1到sB;
步骤4-4:计算待估计物体与第i种材质种类的相似度:
其中wb表示不同波长的光谱图像特征的平均距离值权重;
步骤4-5:重复步骤4-2到步骤4-4,计算待估计物体与所有材质种类的相似度S1,S2,…,SN;
步骤4-6:采用softmax操作将相似度分数转换为概率值pi表示待估计物体属于第i种材质种类的多光谱图像材质种类识别概率;
步骤5:使用神经网络分类器对待估计物体的RGB图像进行分类,得到待估计物体属于第i种材质种类的视觉图像材质种类识别概率p′i;
步骤6:采用加权方式获得待估计物体的属于第i种材质种类的概率值:
Pi=W1pi+W2p′i
其中W1和W2分别表示多光谱图像材质种类识别概率的权重和视觉图像材质种类识别概率的权重;i从1取到N,计算P1到PN,选择P1到PN中的最大值对应的材质种类作为待估计物体的材质种类;
步骤7:获取待估计物体的位姿;
步骤7-1:使用目标检测方法从待估计物体的RGB图像中定位待估计物体;
步骤7-2:采用从图像中预测稠密三维坐标的方法,构建出RGB图像像素与三维坐标之间的对应关系;
步骤7-3:采用Z-buffer算法通过渲染CAD模型获得RGB图像像素点对应的三维坐标真值;使用鲁棒距离函数衡量预测三维坐标和三维坐标真值之间的误差;
步骤7-4:在预测物体三维坐标的同时预测一个掩模表示待估计物体所在像素位置;在建立RGB图像像素与三维坐标之间的关系时,只构建在掩模内部的RGB图像像素与三维坐标之间的关系,然后采用PnP+RANSAC算法计算出待估计物体的六自由度位姿。
优选地,所述步骤4-2中计算距离的方法为欧式距离或者余弦距离。
优选地,所述步骤7-1中的目标检测方法如下:
采用基于深度学习的实例分割或者语义分割模型来获得待估计物体在图像中的位置,获得物体的分割掩模,从而直接得到物体在图像中的具***置。
优选地,所述实例分割或者语义分割模型为Mask-RCNN。
优选地,所述步骤7-1中的目标检测方法如下:
采用基于深度学习的方法进行目标检测,目标检测以检测框的形式给出目标检测结果。
优选地,所述基于深度学习的方法为Faster-RCNN或YOLO。
本发明的有益效果如下:
1、本发明提出一种物***姿估计和物理属性同时估计的方法,在物***姿估计的同时,可以同时获得物体的物理属性,以获得更多的交互先验信息,提高交互的准确性和稳定性。
2、本发明由普通光学相机获得物体六自由度位姿,保证物***姿估计的实时性和准确性。
3、本发明在不增加方法复杂性的前提下,使用普通光学相机和多光谱相机的多源信息融合的方式以同时获得物体的物理属性,提高物体物理属性估计的稳定性。
附图说明
图1为本发明方法的总框架图。
图2为本发明多光谱相机拍摄物体获得数据库图像过程示意图。
图3为本发明待估计物体的多光谱图像与某一材质属性的相似度计算过程示意图。
图4为本发明待估计物体的多光谱图像计算材质种类过程示意图。
图5为本发明通过深度学习神经网络直接从多光谱图像获得物体材质种类过程示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明为了解决机器人抓取过程中,交互信息不足以及抓取准确性和稳定性较低的问题,提出一种同时估计待抓取物***姿与物理属性的方法,在获得物体六自由度位姿后,提供待抓取物体物理属性的先验信息,提高抓取力度的快速获取以及抓取的稳定性。
一种物***姿估计和物理属性协同估计方法,包括如下步骤:
步骤1:设定物体的材质种类数量为N;
步骤2:建立多光谱图像特征数据库;
步骤2-1:使用多光谱相机采集所有材质种类的标准多光谱图像,每一种物体材质种类采集t个多光谱图像;多光谱相机采集图像的光谱波长数量为B;
步骤2-2:使用深度学习神经网络对采集到的多光谱图像按照不同的光谱波长分别进行特征提取,获得第i种材质种类的第b个波长光谱图像特征 其中/>表示第i种材质种类的第b个波长第t个光谱图像的特征,b=1,2,…,B,i=1,2,…,N;
步骤2-3:将物体的材质种类和步骤2-2获取的所有光谱图像特征组成多光谱图像特征数据库,数据库中每一个光谱图像特征对应一个材质种类;
步骤3:使用普通视觉相机和多光谱相机对待估计物体进行拍摄,分别得到待估计物体的RGB图像和多光谱图像;
步骤4:计算待估计物体的多光谱图像材质种类识别概率;
步骤4-1:对拍摄的多光谱图像进行处理,使其和数据库中的多光谱图像尺寸一致,使用步骤2-2的深度学习神经网络对待估计物体的多光谱图像进行特征提取,获得待估计物体的多光谱图像特征;
步骤4-2:计算待估计物体的第b个波长的多光谱图像特征与多光谱图像特征数据库中第i种材质种类第b个波长的t个光谱图像特征间的距离,能够得到t个距离值,取t个距离值的均值表示待估计物体的多光谱图像中第b个波长的多光谱图像特征与多光谱图像特征数据库中第i种材质种类的第b个波长的光谱图像特征的平均距离值sb;根据距离来判断特征之间的相似程度,距离越大表示相似度越低,可以采用欧式距离或者余弦距离进行特征距离计算;
步骤4-3:重复步骤4-2,计算待估计物体的第1个到第B个波长的多光谱图像特征与多光谱图像特征数据库中第i种材质种类的第1个到第B个波长的光谱图像特征的平均距离值s1到sB;
步骤4-4:计算待估计物体与第i种材质种类的相似度:
其中wb表示不同波长的光谱图像特征的平均距离值权重;
步骤4-5:重复步骤4-2到步骤4-4,计算待估计物体与所有材质种类的相似度S1,S2,…,SN;
步骤4-6:采用softmax操作将相似度分数转换为概率值pi表示待估计物体属于第i种材质种类的多光谱图像材质种类识别概率;
步骤5:使用神经网络分类器对待估计物体的RGB图像进行分类,得到待估计物体属于第i种材质种类的视觉图像材质种类识别概率p′i;
步骤6:采用加权方式获得待估计物体的属于第i种材质种类的概率值:
Pi=W1pi+W2p′i
其中W1和W2分别表示多光谱图像材质种类识别概率的权重和视觉图像材质种类识别概率的权重;i从1取到N,计算P1到PN,选择P1到PN中的最大值对应的材质种类作为待估计物体的材质种类;
步骤7:获取待估计物体的位姿;
步骤7-1:使用目标检测方法从待估计物体的RGB图像中定位待估计物体;
步骤7-2:采用从图像中预测稠密三维坐标的方法,构建出RGB图像像素与三维坐标之间的对应关系;使用以ResNet结构为基础编解码结构的网络来提取图像的特征,假设网络输入维度为(3×H×W)网络输出可以和输入具有相同的维度(3×H×W),包括三通道的坐标(x,y,z),也可以使用网络对图像下采样n倍,输出维度为(3×H/n×W/n)。
步骤7-3:采用Z-buffer算法通过渲染CAD模型获得RGB图像像素点对应的三维坐标真值;使用鲁棒距离函数衡量预测三维坐标和三维坐标真值之间的误差;
步骤7-4:在预测物体三维坐标的同时预测一个掩模表示待估计物体所在像素位置;在建立RGB图像像素与三维坐标之间的关系时,只构建在掩模内部的RGB图像像素与三维坐标之间的关系,然后采用PnP+RANSAC算法计算出待估计物体的六自由度位姿。
具体实施例:
物***姿估计与属性估计过程如图1所示,从RGB图像中获得物***姿,以及属于某一类别的概率,可以直接从多光谱图像中获得物体属性概率,然后最终的物体属性是由两种方式获得的属性的加权得到。
对于物***姿估计,首先在图像中定位待位姿估计物体在图像中的位置,然后进一步确定物体的位姿,使用实例分割的方法对待位姿估计和属性估计的物体进行识别与定位。
采用基于深度学习的实例分割或者语义分割模型来获得物体在图像中的位置,例如可以使用Mask-RCNN,可以获得物体的分割掩模,并且得到物体像素级的分割结果,由此可以直接得到物体在图像中的具***置。
另外也可以使用目标检测的方法对待估计的物体进行识别与定位,采用基于深度学习的方法进行目标检测,使用Faster-RCNN、YOLO的目标检测方法来检测待估计的物体在图像中的位置,目标检测会以检测框的形式给出目标检测结果,然后对检测处理出来的物体进行位姿估计。
通常图像中的物体是非常小的,有必要对包含物体的图像区域进行放大,使网络能够提取到物体上更加细节的特征,得到更好的位姿估计性能。给定一个实例分割结果,从实例分割中获得物体的包围框,或者从目标检测器直接输出目标包围框。该包围框包含位置为Cx,y的目标对象,包围框的高和宽分别为h和w像素。为了保证图像尺寸的一致性,以高和宽中的最大值来确定最终的包围框,即包围框为正方形并且尺寸为S=max(h,w),为了防止包围框未能包含物体所有区域,因此将包围框以包围框中心为参考,放大包围框至然后依据此包围框将物体区域裁剪出来,然后可以将裁剪后的图像缩放至一个固定的尺寸。
采用从图像中预测稠密三维坐标的方法,构建出图像像素—三维坐标之间的对应关系,然后根据PnP算法求解出物体的位姿。使用以ResNet结构为基础编解码结构的网络来提取图像的特征,假设网络输入维度为(3×256×256)网络输出可以和输入具有相同的维度(3×256×256),包括三通道的坐标(x,y,z),也可以使用网络对图像下采样4倍,输出维度为(3×64×64)。优化预测的坐标和真实坐标之间的距离,通过渲染CAD模型来获得像素点对应的坐标真值,可以采用Z-buffer算法实现,由于真实的三维坐标可能包含外点,因此使用以下距离函数来提高模型的性能。
其中y,y*分别表示预测出来的三维坐标和真实的三维坐标。当距离小于阈值λ时采用欧式距离衡量两个坐标之间的误差,当距离大于阈值时采用欧式距离的平方根。因为待估计物体只存在与图像中的一部分,因此当使用目标检测来确定物体在图像中的位置时,需要在预测物体三维坐标的同时预测一个掩模来表示物体所在像素位置。在建立图像像素—三维坐标之间的关系时,只构建在掩模内部的图像像素—三维坐标之间的关系。然后根据建立起的2D-3D关系,采用PnP+RANSAC算法计算出物***姿。
在输出物体三维坐标和物体掩模的同时,使用神经网络分类器输出物体的纹理特征,用于后续的物体物理属性识别。
进行物体物理属性识别具体过程,包括使用多光谱相机进行标准多光谱图像采集,标准多光谱图像特征提取,标准多光谱图像建库。假设多光谱相机可以采集的波段数量为10,假设物体材质种类为5。分别采集所有物体类别的多光谱图像,每一个物体类别采集多份多光谱图像数据,可以围绕物体拍摄多份数据,一类物体类别共拍摄t=200份多光谱数据,如图2所示。
然后对采集到的多光谱图像数据进行特征提取,可以使用深度学习方法提取特征,根据光谱波长的不同,将提取的特征按照不同波长分开存储。获得每一类物体的光谱图像特征Fb=[f1,b,f2,b,…,ft,b],其中ft,b表示第b个波长第t张光谱图像的特征,每一个特征都有对应的材质类别标签;F10=[f1,10,f2,10,…,f200,10],表示第10个波长的200个光谱图像的特征。根据此方法建立多光谱图像特征数据库,也即每一种材质都有对应的光谱图像特征,依据光谱图像特征可以获得该光谱图像对应的材质类别。
在进行物体属性识别时,使用普通视觉相机和多光谱相机对物体进行拍摄,对拍摄的多光谱图像进行处理,使其和数据库中的多光谱图像尺寸一致,使用与建立数据库提取特征所用的深度模型进行多光谱图像特征提取,获得多光谱图像特征,每个波长的光谱图像都得到一个特征,然后根据波长计算与数据库中对应的各个波长特征间的距离,来判断特征之间的相似程度,距离越大表示相似度越低,比如采用欧式距离或者余弦距离进行特征距离1-cos<fi,fi *>计算,待估计物体的某一个波长和某一个类别属性的比较可以得到t=200个距离值,取这200个个距离值的均值d表示待估计光谱图像中该波长图像与数据库中某一类别属性的该波长光谱图像特征的距离值。
为了方便表示,使用余弦相似性cos<fi,fi *>来表示特征向量之间的相似度,对于某一个物体T的多光谱图像,可以得到其与数据库中材质A不同波长的光谱图像特征的相似度:S=[s1,s2,…s10],具体过程如图3所示。通过将待估计的多光谱图像的每一个波段和材质A对应的每一个波段分别计算相似度,比如对于波长为x1 nm波段,使用与建库时相同的深度神经网络模型,提取此波段对应的光谱图以获得光谱图特征。然后与材质A对应波段x1nm的t=200个特征计算相似度,得到200个相似度,然后将其平均,得到对应于波长为x nm的平均相似度s1。同样的方法得到物体T与属性A其他波段的相似度。
因为不同波段在识别物体属性的时候具有不同的能力,因此对于不同的波长,采用不同的权重来表示不同波长特征的重要性。最终可以根据每个波段的权重进行相似度加权求和,得到总相似度。
类似的方法,可以计算当前所拍摄的物体和每一种材质多光谱图像之间的相似性来确定当前物体的材质属性。比如,当前物体T多光谱图像和材质A多光谱图像的相似度可以表示为:其中wb表示不同波长光谱图像对应的权重。
然后计算当前物体T和所有材质类别的多光谱图像相似度S=[S1,S2,…,S5]。采用softmax操作将相似度分数转换为概率值可以使用得分最高的属性类别作为最终的结果。如图4所示。
另外一种方式,可以直接采集物体属性的多光谱图像数据库并且进行属性类别标记,直接设计一种深度神经网络在这些采集的多光谱图像数据上进行训练,对于待估计的多光谱图像,将其看成一个分类问题,深度神经网络可直接输出对应的属性概率,能够比较大的降低建立特征数据库的成本,如图5所示。但是可能会导致训练的复杂度增大,因为当有新的物体属性加加入到数据库中时,可能需要重新对深度神经网络进行训练。
为了增加属性识别的准确性,充分利用视觉图像信息,因此使用从图像中提取的纹理特征来预测该物体物理属性的类别。具体的说,使用深度神经网络从物体纹理特征中直接预测物体物理属性的概率值p′n。
联合从视觉图像和从多光谱图像的预测结果,可以得到物体最终的物理属性。采用加权的方式获得物体材质属于某一类别的概率值,如Pn=W1pn+W2p′n,其中Pn表示物体属性为n的概率值,W1和W2表示光谱信息的权重和视觉图像信息的权重,pn根据光谱信息将物体属性识别为n的概率,p′n表示根据视觉图像信息将物体属性识别为n的概率,如图1所示。计算出所有材质的概率值,选择最大的概率值对应的材质种类作为当前物体最终的材质种类。
Claims (6)
1.一种物***姿估计和物理属性协同估计方法,其特征在于,包括如下步骤:
步骤1:设定物体的材质种类数量为N;
步骤2:建立多光谱图像特征数据库;
步骤2-1:使用多光谱相机采集所有材质种类的标准多光谱图像,每一种物体材质种类采集t个多光谱图像;多光谱相机采集图像的光谱波长数量为B;
步骤2-2:使用深度学习神经网络对采集到的多光谱图像按照不同的光谱波长分别进行特征提取,获得第i种材质种类的第b个波长光谱图像特征 其中/>表示第i种材质种类的第b个波长第t个光谱图像的特征,b=1,2,…,B,i=1,2,…,N;
步骤2-3:将物体的材质种类和步骤2-2获取的所有光谱图像特征组成多光谱图像特征数据库,数据库中每一个光谱图像特征对应一个材质种类;
步骤3:使用普通视觉相机和多光谱相机对待估计物体进行拍摄,分别得到待估计物体的RGB图像和多光谱图像;
步骤4:计算待估计物体的多光谱图像材质种类识别概率;
步骤4-1:使用步骤2-2的深度学习神经网络对待估计物体的多光谱图像进行特征提取,获得待估计物体的多光谱图像特征;
步骤4-2:计算待估计物体的第b个波长的多光谱图像特征与多光谱图像特征数据库中第i种材质种类第b个波长的t个光谱图像特征间的距离,能够得到t个距离值,取t个距离值的均值表示待估计物体的多光谱图像中第b个波长的多光谱图像特征与多光谱图像特征数据库中第i种材质种类的第b个波长的光谱图像特征的平均距离值sb;
步骤4-3:重复步骤4-2,计算待估计物体的第1个到第B个波长的多光谱图像特征与多光谱图像特征数据库中第i种材质种类的第1个到第B个波长的光谱图像特征的平均距离值s1到sB;
步骤4-4:计算待估计物体与第i种材质种类的相似度:
其中wb表示不同波长的光谱图像特征的平均距离值权重;
步骤4-5:重复步骤4-2到步骤4-4,计算待估计物体与所有材质种类的相似度S1,S2,…,SN;
步骤4-6:采用softmax操作将相似度分数转换为概率值pi表示待估计物体属于第i种材质种类的多光谱图像材质种类识别概率;
步骤5:使用神经网络分类器对待估计物体的RGB图像进行分类,得到待估计物体属于第i种材质种类的视觉图像材质种类识别概率p′i;
步骤6:采用加权方式获得待估计物体的属于第i种材质种类的概率值:
Pi=W1pi+W2p′i
其中W1和W2分别表示多光谱图像材质种类识别概率的权重和视觉图像材质种类识别概率的权重;i从1取到N,计算P1到PN,选择P1到PN中的最大值对应的材质种类作为待估计物体的材质种类;
步骤7:获取待估计物体的位姿;
步骤7-1:使用目标检测方法从待估计物体的RGB图像中定位待估计物体;
步骤7-2:采用从图像中预测稠密三维坐标的方法,构建出RGB图像像素与三维坐标之间的对应关系;
步骤7-3:采用Z-buffer算法通过渲染CAD模型获得RGB图像像素点对应的三维坐标真值;使用鲁棒距离函数衡量预测三维坐标和三维坐标真值之间的误差;
步骤7-4:在预测物体三维坐标的同时预测一个掩模表示待估计物体所在像素位置;在建立RGB图像像素与三维坐标之间的关系时,只构建在掩模内部的RGB图像像素与三维坐标之间的关系,然后采用PnP+RANSAC算法计算出待估计物体的六自由度位姿。
2.根据权利要求1所述的一种物***姿估计和物理属性协同估计方法,其特征在于,所述步骤4-2中计算距离的方法为欧式距离或者余弦距离。
3.根据权利要求1所述的一种物***姿估计和物理属性协同估计方法,其特征在于,所述步骤7-1中的目标检测方法如下:
采用基于深度学习的实例分割或者语义分割模型来获得待估计物体在图像中的位置,获得物体的分割掩模,从而直接得到物体在图像中的具***置。
4.根据权利要求3所述的一种物***姿估计和物理属性协同估计方法,其特征在于,所述实例分割或者语义分割模型为Mask-RCNN。
5.根据权利要求1所述的一种物***姿估计和物理属性协同估计方法,其特征在于,所述步骤7-1中的目标检测方法如下:
采用基于深度学习的方法进行目标检测,目标检测以检测框的形式给出目标检测结果。
6.根据权利要求5所述的一种物***姿估计和物理属性协同估计方法,其特征在于,所述基于深度学习的方法为Faster-RCNN或YOLO。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210000263.7A CN114494156B (zh) | 2022-01-03 | 2022-01-03 | 一种物***姿估计和物理属性协同估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210000263.7A CN114494156B (zh) | 2022-01-03 | 2022-01-03 | 一种物***姿估计和物理属性协同估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114494156A CN114494156A (zh) | 2022-05-13 |
CN114494156B true CN114494156B (zh) | 2024-03-08 |
Family
ID=81510077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210000263.7A Active CN114494156B (zh) | 2022-01-03 | 2022-01-03 | 一种物***姿估计和物理属性协同估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114494156B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004280591A (ja) * | 2003-03-17 | 2004-10-07 | Ntt Data Corp | マルチスペクトル画像処理装置、マルチスペクトル画像処理方法、およびコンピュータが実行するためのプログラム |
CN110322485A (zh) * | 2019-06-25 | 2019-10-11 | 南京大学 | 一种异构多相机成像***的快速图像配准方法 |
CA3145736A1 (en) * | 2019-07-01 | 2021-01-07 | Geomagical Labs, Inc. | Method and system for image generation |
CN112270249A (zh) * | 2020-10-26 | 2021-01-26 | 湖南大学 | 一种融合rgb-d视觉特征的目标位姿估计方法 |
CN113674400A (zh) * | 2021-08-18 | 2021-11-19 | 公安部物证鉴定中心 | 基于重定位技术的光谱三维重建方法、***及存储介质 |
-
2022
- 2022-01-03 CN CN202210000263.7A patent/CN114494156B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004280591A (ja) * | 2003-03-17 | 2004-10-07 | Ntt Data Corp | マルチスペクトル画像処理装置、マルチスペクトル画像処理方法、およびコンピュータが実行するためのプログラム |
CN110322485A (zh) * | 2019-06-25 | 2019-10-11 | 南京大学 | 一种异构多相机成像***的快速图像配准方法 |
CA3145736A1 (en) * | 2019-07-01 | 2021-01-07 | Geomagical Labs, Inc. | Method and system for image generation |
CN112270249A (zh) * | 2020-10-26 | 2021-01-26 | 湖南大学 | 一种融合rgb-d视觉特征的目标位姿估计方法 |
CN113674400A (zh) * | 2021-08-18 | 2021-11-19 | 公安部物证鉴定中心 | 基于重定位技术的光谱三维重建方法、***及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于语义分割和点云配准的物体检测与位姿估计;陈廷炯;秦威;邹德伟;;电子技术;20200120(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114494156A (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108304873B (zh) | 基于高分辨率光学卫星遥感影像的目标检测方法及其*** | |
US9639748B2 (en) | Method for detecting persons using 1D depths and 2D texture | |
Cohen et al. | Inference of human postures by classification of 3D human body shape | |
CN103390164B (zh) | 基于深度图像的对象检测方法及其实现装置 | |
CN112836734A (zh) | 一种异源数据融合方法及装置、存储介质 | |
CN110751097B (zh) | 一种半监督的三维点云手势关键点检测方法 | |
CN113799124B (zh) | 一种非结构化环境的机器人灵活抓取检测方法 | |
Wang et al. | An overview of 3d object detection | |
CN114693661A (zh) | 一种基于深度学习的快速分拣方法 | |
Zu Borgsen et al. | Automated door detection with a 3D-sensor | |
CN115816460B (zh) | 一种基于深度学习目标检测与图像分割的机械手抓取方法 | |
CN112949380B (zh) | 一种基于激光雷达点云数据的智能水下目标识别*** | |
Rao et al. | Object tracking system using approximate median filter, Kalman filter and dynamic template matching | |
CN116229189B (zh) | 基于荧光内窥镜的图像处理方法、装置、设备及存储介质 | |
CN105975906B (zh) | 一种基于面积特征的pca静态手势识别方法 | |
CN116486287A (zh) | 基于环境自适应机器人视觉***的目标检测方法及*** | |
CN110826575A (zh) | 一种基于机器学习的水下目标识别方法 | |
CN115861999A (zh) | 一种基于多模态视觉信息融合的机器人抓取检测方法 | |
CN114548253A (zh) | 一种基于图像识别及动态匹配的数字孪生模型构建*** | |
CN116912238A (zh) | 基于多维识别网络级联融合的焊缝管道识别方法及*** | |
CN116703895B (zh) | 基于生成对抗网络的小样本3d视觉检测方法及其*** | |
Holte et al. | View invariant gesture recognition using the CSEM SwissRanger SR-2 camera | |
CN114494156B (zh) | 一种物***姿估计和物理属性协同估计方法 | |
Shi et al. | A fast workpiece detection method based on multi-feature fused SSD | |
Budzan | Fusion of visual and range images for object extraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |